Redis (四 redis的虚拟内存管理)

2/10/2017来源:ASP.NET技巧人气:1346

Redis的数据保存在内存中,会出现内存不足的情况,redis2.0以后,新增了虚拟内存的功能,redis的VM与操作系统的VM类似,它把访问很少的key放到内存里,却把value放到磁盘上,从而实现快速把val导入内存。

操作系统自己有虚拟内存的概念,redis为什么要自己造轮子 ?

1  操作系统的VM是基于页的概念,比如linux中每页的大小是4k,而redis中的对象大多小于4K,一个页上可能有多个redi对象,另外redis的集合可能对象类型,如set,list可能存在于多个页上,redis自己实现可以达到更好的换入粒度

2  redis将交换到磁盘的对象压缩,保存到磁盘的对象可以去除指针和对象元数据信息,一般压缩后的对象比在内存中的对象小10倍,这样redis的VM比操作系统的VM少很多IO操作

## VM的配置文件

vm-enabled yes   ##开启vm

vm-swap-file  /tmp/redis.swap  ##交换出来的value保存的文件路径(swap过大会造成磁盘空间浪费,过小会造成过多的磁盘碎片)

vm-max-memory  268435456   ##redis使用的最大内存上限,超过这个值后开始交换value到硬盘中

vm-page-size  32  ##设置每个页面的大小为32字节

vm-pages   134217728  ##最多使用多少个页面 vm-swap-file = vm-page-size*vm-pages

vm-max-threads  4  ##对象换入换出的工作线程的数量0表示不使用工作线程,使用主线程(会阻塞其它用户)

redis的VM只是把value放到磁盘,所以,并不能解决key过多造成的内存不足

和操作系统一样,redis也是按照页来交换对象,一个页只能保存一个对象,但是一个对象可以分布于多个页

redis在内存中维护一个bitmap来映射这些页是否被占用

redis默认fork出一个子进程来备份rdb文件,子进程在执行保存时与父进程共享swap文件,为避免父子进程同时操作,redis在子进程备份时,不允许父进程操作swap文件

redis允许debug操作,eg: set key val 

>debug key

### 阻塞式VM交换redisObject到磁盘的步骤,采用vmSwapObjectBlocking进行

(1)找到准备交换到磁盘的RedisObject对象

(2)调用vmSwapObjectBlocking将对象所关联的value值交换至硬盘,它返回一个包含value存储信息的vmPointer指针

(3)使用vmSwapObjectBlocking返回的vmPointer指针把RedisObject替换,把storage字段设为REDIS_VM_SWAPPED

(4)释放对象所关联的value所占用的内存空间

###非阻塞式VM采用vmSwapOneObjectThreaded进行,利用io线程实现

IO线程的处理如下

(1)从io_newjobs队列取出一个IO任务

(2)处理IO任务

(3)把处理完成的IO任务放到io_PRocessd任务队列

主线程收到io线程的信号就调用vmThreadedIOComletedJob对io_processd队列中的任务进一步处理