前言

对于一个高性能的服务器程序来说,内存的使用非常重要。C++提供new/delete来管理内存的申请和释放,但是对于小对象来说,直接使用new/delete代价比较大,要付出额外的空间和时间,性价比不高。另外,也需要避免多次申请和释放引起的内存碎片。一旦碎片到达一定程度,即使剩余内存足够用,但由于缺乏足够的连续的空闲空间,导致内存不够用的假象。

C++ STL为避免内存碎片实现了一个复杂的内存池,leveldb则没有那么复杂,只是实现了一个“一次性”内存池Arena。leveldb并不是所有地方都使用了该内存池,主要是memtable使用,主要是用于临时存放用户的更新数据,由于更小的数据可能较小,所以这里使用内存池就很合适。

原理

为避免小对象的频繁分配,需要减少对new的调用,最简单的做法就是申请大块的内存,多次分给客户。leveldb使用一个vector<char*>来保存所有内存分配记录表,默认每次申请4k的内存,记录下剩余指针和剩余内存字节数。每当有新的申请,如果当前剩余的字节能满足需求,则直接返回给用户,否则,对于超过1k的申请,直接new返回,小于1k的申请,则申请一个新的4k块,从中分配一部分给用户。

但这样存在一个问题当前块剩余部分就浪费了,改进的方法,针对每个block都记录剩余字节数,但如此需要遍历查找合适的block,要付出一定性能的代价。谷歌的做法是浪费就浪费吧。至于释放就需要释放整个内存池来释放所占的内存,这个和leveldb的需求有关,memtable不需要释放单次内存,flush到硬盘后整个memtable销毁。

源码实现

arena.h

#ifndef STORAGE_LEVELDB_UTIL_ARENA_H_
#define STORAGE_LEVELDB_UTIL_ARENA_H_ #include <atomic>
#include <cassert>
#include <cstddef>
#include <cstdint>
#include <vector> namespace leveldb { class Arena {
public:
Arena(); Arena(const Arena&) = delete;
Arena& operator=(const Arena&) = delete; ~Arena(); // Return a pointer to a newly allocated memory block of "bytes" bytes.
char* Allocate(size_t bytes); // Allocate memory with the normal alignment guarantees provided by malloc.
char* AllocateAligned(size_t bytes); // Returns an estimate of the total memory usage of data allocated
// by the arena.
size_t MemoryUsage() const {
return memory_usage_.load(std::memory_order_relaxed);
} private:
char* AllocateFallback(size_t bytes);
char* AllocateNewBlock(size_t block_bytes); char* alloc_ptr_;
size_t alloc_bytes_remaining_;
std::vector<char*> block_;
std::atomic<size_t> memory_usage_;
}; inline char* Arena::Allocate(size_t bytes) {
assert(bytes > );
if (bytes <= alloc_bytes_remaining_) {
char* result = alloc_ptr_;
alloc_ptr_ += bytes;
alloc_bytes_remaining_ -= bytes;
return result;
}
return AllocateFallback(bytes);
} } #endif

arena.cc

#include "arena.h"

namespace leveldb {

static const int kBlockSize = ;

Arena::Arena()
: alloc_ptr_(nullptr), alloc_bytes_remaining_(), memory_usage_(){} Arena::~Arena() {
for (size_t i = ; i < block_.size(); i++) {
delete[] block_[i];
}
} char* Arena::AllocateFallback(size_t bytes) {
if (bytes > kBlockSize / ) {
char* result = AllocateNewBlock(bytes);
return result;
} alloc_ptr_ = AllocateNewBlock(kBlockSize);
alloc_bytes_remaining_ = kBlockSize; char* result = alloc_ptr_;
alloc_ptr_ += bytes;
alloc_bytes_remaining_ -= bytes;
return result;
} char* Arena::AllocateAligned(size_t bytes) {
const int align = (sizeof(void*) > ) ? sizeof(void*) : ;
static_assert((align & (align - )) == ,
"Pointer size should be a power of 2");
size_t current_mod = reinterpret_cast<uintptr_t>(alloc_ptr_) & (align - );
size_t slop = (current_mod == ? : align - current_mod);
size_t needed = bytes + slop;
char* result;
if (needed <= alloc_bytes_remaining_) {
result = alloc_ptr_ + slop;
alloc_ptr_ += needed;
alloc_bytes_remaining_ -= needed;
} else {
result = AllocateFallback(bytes);
}
assert((reinterpret_cast<uintptr_t>(result) & (align - )) == );
return result;
} char* Arena::AllocateNewBlock(size_t block_bytes) {
char* result = new char[block_bytes];
block_.push_back(result);
memory_usage_.fetch_add(block_bytes + sizeof(char*),
std::memory_order_relaxed);
return result;
} }

参考博客:https://www.cnblogs.com/shenzhaohai1989/p/3904808.html

leveldb Arena源码分析的更多相关文章

  1. Leveldb源码分析--1

    coming from http://blog.csdn.net/sparkliang/article/details/8567602 [前言:看了一点oceanbase,没有意志力继续坚持下去了,暂 ...

  2. tair源码分析——leveldb新增的CompactRangeSelfLevel过程

    tair是一个分布式KV存储引擎,当新增机器或者有机器down掉的时候,tair的dataserver会根据ConfigServer生成的新的对照表进行数据的迁移和清理.在数据清理的过程中就用到了在t ...

  3. leveldb源码分析--SSTable之block

    在SSTable中主要存储数据的地方是data block,block_builder就是这个专门进行block的组织的地方,我们来详细看看其中的内容,其主要有Add,Finish和CurrentSi ...

  4. leveldb源码分析--WriteBatch

    从[leveldb源码分析--插入删除流程]和WriteBatch其名我们就很轻易的知道,这个是leveldb内部的一个批量写的结构,在leveldb为了提高插入和删除的效率,在其插入过程中都采用了批 ...

  5. leveldb源码分析--Key结构

    [注]本文参考了sparkliang的专栏的Leveldb源码分析--3并进行了一定的重组和排版 经过上一篇文章的分析我们队leveldb的插入流程有了一定的认识,而该文设计最多的又是Batch的概念 ...

  6. MyCat源码分析系列之——BufferPool与缓存机制

    更多MyCat源码分析,请戳MyCat源码分析系列 BufferPool MyCat的缓冲区采用的是java.nio.ByteBuffer,由BufferPool类统一管理,相关的设置在SystemC ...

  7. 分布式存储Seaweedfs源码分析

    基于源码版本号 0.67 , [Seaweedfs以前旧版叫Weedfs]. Seaweedfs 是一个非常优秀的由 golang 开发的分布式存储开源项目, 虽然在我刚开始关注的时候它在 githu ...

  8. 并发编程之 Exchanger 源码分析

    前言 JUC 包中除了 CountDownLatch, CyclicBarrier, Semaphore, 还有一个重要的工具,只不过相对而言使用的不多,什么呢? Exchange -- 交换器.用于 ...

  9. Netty源码分析第5章(ByteBuf)---->第4节: PooledByteBufAllocator简述

    Netty源码分析第五章: ByteBuf 第四节: PooledByteBufAllocator简述 上一小节简单介绍了ByteBufAllocator以及其子类UnPooledByteBufAll ...

随机推荐

  1. C# 列排序

    private void button2_Click(object sender, EventArgs e) { DataTable dt = new DataTable(); dt.Columns. ...

  2. tsconfig.json配置说明

    配置 tsconfig.json tsconfig.json 所包含的属性并不多,只有 7 个,ms 官方也给出了它的定义文件.但看起来并不怎么舒服,这里就翻译整理一下.(若有误,还请指出) file ...

  3. 「CF525D」Arthur and Walls

    题目链接 戳我 \(Solution\) 如果一个#要更改,那么一个四个格子的正方形只有他一个是#,bfs弄一下就好了 \(Code\) #include<bits/stdc++.h> u ...

  4. 关于开发APP接口版本不兼容的问题

    关于 APP接口版本兼容的问题. iOS和android 要不断开发新版本,很多服务端开发都是在以前接口的逻辑上进行修改. 新的APP和接口开发后,接口如何兼容老的APP? 有的公司 每次发布完APP ...

  5. (十九)C语言之指针

  6. Mybatis不使用Spring框架(Druid)

    1.Mysql database CREATE TABLE mockrecord (id INT(10) unsigned PRIMARY KEY NOT NULL COMMENT 'mock记录编号 ...

  7. mysql使用命令行执行存储过程

    编写存储过程sql 以给brand表添加phone字段为例: DROP PROCEDURE IF EXISTS UpdateColum; CREATE PROCEDURE UpdateColum() ...

  8. mysql删除数据库所有表

    -- 生成删除xxx数据库的所有表的sql语句SELECT CONCAT('drop table ',table_name,';') FROM information_schema.`TABLES` ...

  9. C# 实现DataTable、DataSet与XML互相转换

    /**//// <summary> /// 把DataSet.DataTable.DataView格式转换成XML字符串.XML文件 /// </summary> public ...

  10. Thread 源码阅读

    Thread 属性说明 /** * 程序中的执行线程 * @since 1.0 */ public class Thread implements Runnable { /* Make sure re ...