源地址:http://kb.cnblogs.com/page/42731/

仔细学习了下,以下是记录的笔记备忘内容。

一、memcached是什么?
    memcached是高性能的分布式内存缓存服务器。
    一般使用目的是,通过缓存数据库查询结果,减少数据库访问次数,以提高动态web应用的速度、提高可扩展性

memcached的特征:
        1. 协议简单
        2. 基于libevent的事件处理
        3. 内置内存存储方式
        4. memcached不互相通信的分布式

协议简单:
            memcached使用简单文本行的协议,因此通过telnet也能在memcached上保存数据,取得数据。

基于libevent的事件处理
            libevent是一个程序库,它将linux的epoll、BSD类操作系统的kqueue等事件处理功能封装成统一的接口。
            memcached使用这个libevent库,因此在linux、BSD等操作系统上发挥高性能。

内置内存存储方式
            memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存储在内存中,因此重启memcached、重启操作系统会导致全部数据的丢失。内容容量达到指定值之后,就基于LRU算法自动删除不使用的缓存。memcached本身是为缓存而设计的服务器,因此没有考虑数据的永久性问题。

memcached不互相通信的分布式
            各个memcahced不会互相通信已共享信息,如何进行分布式,是由客户端来实现的

memcached安装
        在安装memcahced之前,首先要安装libevent库

            # tar xf libevent-2.0.-stable.tar.gz
# cd libevent-2.0.
# ./configure --prefix=/usr/local/libevent
# make && make install # echo "/usr/local/libevent/lib" > /etc/ld.so.conf.d/libevent.conf
# ldconfig # tar xf memcached-1.4..tar.gz
# cd memcached-1.4.
# ./configure --prefix=/usr/local/memcached --with-libevent=/usr/local/libevent
# make && make install

memcached 编译安装时,启动脚本:

#!/bin/bash
#
# Init file for memcached
#
# chkconfig: -
# description: Distributed memory caching daemon
#
# processname: memcached
# config: /etc/sysconfig/memcached . /etc/rc.d/init.d/functions ## Default variables
PORT=""
USER="memcached"
MAXCONN=""
CACHESIZE=""
OPTIONS="" RETVAL=
prog="/usr/local/memcached/bin/memcached"
desc="Distributed memory caching"
lockfile="/var/lock/subsys/memcached" start() {
echo -n $"Starting $desc (memcached): "
daemon $prog -d -p $PORT -u $USER -c $MAXCONN -m $CACHESIZE $OPTIONS
RETVAL=$?
[ $RETVAL -eq ] && success && touch $lockfile || failure
echo
return $RETVAL
} stop() {
echo -n $"Shutting down $desc (memcached): "
killproc $prog
RETVAL=$?
[ $RETVAL -eq ] && success && rm -f $lockfile || failure
echo
return $RETVAL
} restart() {
stop
start
} reload() {
echo -n $"Reloading $desc ($prog): "
killproc $prog -HUP
RETVAL=$?
[ $RETVAL -eq ] && success || failure
echo
return $RETVAL
} case "$1" in
start)
start
;;
stop)
stop
;;
restart)
restart
;;
condrestart)
[ -e $lockfile ] && restart
RETVAL=$?
;;
reload)
reload
;;
status)
status $prog
RETVAL=$?
;;
*)
echo $"Usage: $0 {start|stop|restart|condrestart|status}"
RETVAL=
esac exit $RETVAL
            主配置文件:/etc/sysconfig/memcached
PORT="" # memcached端口
USER="memcached" # 启动用户
MAXCONN="" # 最大连接数
CACHESIZE="" # 内存缓存空间大小,单位:M
OPTIONS="" # 其他选项
memcached客户端连接
telnet ip:port 保存数据

向memcached保存数据的方法有:
            add、replace、set
            my $add = $memcached->add( '键', '值', '期限' );
            my $replace = $memcached->replace( '键', '值', '期限' );
            my $set = $memcached->set( '键', '值', '期限' );            
        向memcached保存数据时可以指定期限(秒)。不指定期限memcached按照LRU算法保存数据。上面三个方法的区别:
            add:         仅当存储空间中不存在键相同的数据时才保存
            replace:     仅当存储空间中存在键相同的数据时才保存
            set:        与add和replace不同,无论何时都保存

获取数据

获取数据使用get 和 get_multi 方法
        一次获取多条数据时使用get_multi,可以非同步的同时取得多个键值,速度要比循环调用get快数十倍
            my $val = $memcached->get('键');
            my $val = $memcached->get_multi('键1', '键2', '键3', '键4', '键5');

删除数据

删除数据使用delete方法

$memcached->delete('键', '阻塞时间(秒)');

删除第一个参数指定键的数据,第二个参数指定一个时间值,可以禁止使用同样的键保存新数据。此功能可以用于防止缓存数据的不完整。注意:set函数忽视该阻塞,照常保存数据增一和减一操作

二、memcahced的内存存储机制

slab Allocation机制:整理内存以便重复使用
        slab allocator的基本原理是按照预先规定的大小,将分配的内存分割成特定的块,以完全解决内存碎片问题。
        slab Allocation 将分配的内存分割成各种尺寸的块(chunk),并把尺寸相同的块分成组(chunk的集合)
        slab allocator 能重复使用已分配的内存目的。也就是说,分配到的内存不会释放,而且重复利用。

slab Allocation的主要术语
        Page: 内存分配给slab的内存空间,默认是1MB,分配给slab之后根据slab的大小切分成chunk,一个page为4kb
        Chunk:用于缓存记录的内存空间
        slab class:特定大小chunk的组

在slab中缓存数据的原理:
        memcached根据收到数据的大小,选择最适合数据大小的slab,memcached中保存着slab内空闲的chunk的列表,根据该列表选择chunk,然后将数据缓存于其中。

slab Allocator的缺点:
        slab allocator 分配的是特定长度的内存因此无法有效利用分配的内存。例如:将100字节的数据缓存到128字节上,剩余的28字节就浪费掉了。

使用Growth Factor进行调优

memcached在启动时指定Growth Factor因子(选项-f),就可以在某种程度上控制slab之间的差异,默认是1.25

设置命令:memcached -f 2 -vv

查看memcahced的内部状态

# telnet 127.0.0.1 11211
    stats

查看slabs的使用状况
    # memcached-tool 127.0.0.1
  #  Item_Size  Max_age   Pages   Count   Full?  Evicted Evict_Time OOM
  1      96B        30s       1       1      no        0        0    0

各项含义:
          #             slab class编号
          Item_Size     chunk大小
          Max_age        LRU内最旧的记录的生存时间
          Pages        分配给Slab的页数
          Count        slab内的记录数
          Full?        Slab内是否含有空闲chunk

这部分不是特别完全,后期补充,这个脚本对调优非常方便。

三、memcached的删除机制

memcached在数据删除方面有效利用资源,数据不会真正从memcached中消失

lazy Expiration
        memcached内部不会监视记录是否过期,而是在get时查看记录的时间戳,检查记录是否过期。这种技术被成为lazy(惰性) expiration,因此memcached不会在过期监视上耗费cpu时间

LRU: 从缓存中有效删除数据的原理
        当memcached的内存空间不足时,就从最近未使用的记录中搜索,并将其空间分配给新的记录。新的记录覆盖掉使用最少的chunk
        # memcached -M 禁止LRU,一般情况下是非常推荐使用LRU

四、memcached的分布式算法

memcached的分布式
        memcached的分布式是由客户端程序库来实现的,这种分布式是memcached最大的特点。

set方法:
            首先向memcached中添加'tokyo' 将'tokyo'传给客户端程序库后,客户端实现的算法就会根据'键'来决定保存数据的memcached服务器。

get方法:
            获取时也要将要获取的键“tokyo”传递给函数库。 函数库通过与数据保存时相同的算法,根据“键”选择服务器。 使用的算法相同,就能选中与保存时相同的服务器,然后发送get命令。 只要数据没有因为某些原因被删除,就能获得保存的值。

Cache::Memcached的分布式方法
        hash-type主要有两种方法:
            1. 取模法:这种算法不适用于memcached分布式,当一台memcached服务器故障,将会造成所有memcached缓存失效。
            2. 一致性hash算法:首先求出memcached服务器的哈希值,并将其配置到1-2^32的圆上,然后用同样的方法求出存储数据的键的哈希值,并映射到圆上,然后从数据映射到的位置开始顺时针查找,将数据保存到找到的第一个服务器上。

【 学习笔记 】memcached基础知识的更多相关文章

  1. MyBatis:学习笔记(1)——基础知识

    MyBatis:学习笔记(1)--基础知识 引入MyBatis JDBC编程的问题及解决设想 ☐ 数据库连接使用时创建,不使用时就释放,频繁开启和关闭,造成数据库资源浪费,影响数据库性能. ☐ 使用数 ...

  2. C#学习笔记(基础知识回顾)之值类型与引用类型转换(装箱和拆箱)

    一:值类型和引用类型的含义参考前一篇文章 C#学习笔记(基础知识回顾)之值类型和引用类型 1.1,C#数据类型分为在栈上分配内存的值类型和在托管堆上分配内存的引用类型.如果int只不过是栈上的一个4字 ...

  3. C#学习笔记(基础知识回顾)之值传递和引用传递

    一:要了解值传递和引用传递,先要知道这两种类型含义,可以参考上一篇 C#学习笔记(基础知识回顾)之值类型和引用类型 二:给方法传递参数分为值传递和引用传递. 2.1在变量通过引用传递给方法时,被调用的 ...

  4. C#学习笔记(基础知识回顾)之值类型和引用类型

    一:C#把数据类型分为值类型和引用类型 1.1:从概念上来看,其区别是值类型直接存储值,而引用类型存储对值的引用. 1.2:这两种类型在内存的不同地方,值类型存储在堆栈中,而引用类型存储在托管对上.存 ...

  5. Quartz学习笔记:基础知识

    Quartz学习笔记:基础知识 引入Quartz 关于任务调度 关于任务调度,Java.util.Timer是最简单的一种实现任务调度的方法,简单的使用如下: import java.util.Tim ...

  6. .net学习笔记---xml基础知识

    一.XML简介 XML是一种标记语言,用于描述数据,它提供一种标准化的方式来来表示文本数据.XML文档以.xml为后缀.需要彻底注意的是XML是区分大小写的. 先从一个简单的XML例子来了解下xml基 ...

  7. Docker的学习笔记(一)基础知识

    概述 本人最近在学习docker相关的知识,既是工作本身的需要也是自己对技术的追求的必要,以后我也会推出容器相关的随笔,既可以增长自己的知识,也可以和读者广泛交流,岂不乐乎?话不多说.第一篇先介绍do ...

  8. Scala学习笔记--正则表达式基础知识、如何在scala内使用

    正则表达式语法:https://msdn.microsoft.com/zh-cn/library/ae5bf541(VS.80).aspx 基础知识:正则表达式30分钟入门教程 http://www. ...

  9. (C/C++学习笔记) 一. 基础知识

    一. 基础知识 ● 程序和C/C++ 程序: 根据Wirth (1976), Algorithms + Data Structures = Programs. Whence C: 1972, Denn ...

  10. C#学习笔记(基础知识回顾)之枚举

    一:枚举的含义 枚举是用户定义的整数类型.在声明一个枚举时,要指定该枚举的示例可以包含的一组可接受的值.还可以给值指定易于记忆的名称.个人理解就是为一组整数值赋予意义. 二:枚举的优势 2.1:枚举可 ...

随机推荐

  1. 【tips】【词频统计】中可能用到的资源,以C++为例

    前言 我不知道C#什么情况,不过C++里面,什么参数都不传时,argc=1,argv里面是当前程序名.当你传入dir时,argc=2,当你传入-e dir时,argc=3. 这个文章十分适合有一点C语 ...

  2. STL Allocator

    从上面这个程序可以看出,我们这里手动使用了分配器,分配器有很多种类,有std::,还有非std::,也就是上面的__gnu_cxx下面的,我们在使用容器的时候不关心我们使用什么分配器,也不关心我们如何 ...

  3. JavaScript中注册时间处理程序的方式

    基本的方式有两种: 一.第一种方式,出现在Web初期,给时间目标对象或文档元素设置属性. 1.设置JavaScript对象属性为事件处理程序. 示例: 缺点,这种设计都是围绕着假设每个事件目标对于每种 ...

  4. Chromium学习笔记

    1. How to build chromium Follow the steps on:http://www.chromium.org/Home 需要安装Win7 x64的OS,PC的配置尽可能高端 ...

  5. 如何控制DBGrid里面显示的浮点数小数点后的位数?

    现在dbgrid里面显示的位数太多,有10几位,根本没办法看.请问怎么设置能控制小数点后的位数呢?在c语言里面是  %7.2f就可以了,可惜不知道dephi里面怎么做啊谢谢各位指点 方法1:  把那些 ...

  6. 【bzoj1797】[Ahoi2009]Mincut 最小割 网络流最小割+Tarjan

    题目描述 给定一张图,对于每一条边询问:(1)是否存在割断该边的s-t最小割 (2)是否所有s-t最小割都割断该边 输入 第一行有4个正整数,依次为N,M,s和t.第2行到第(M+1)行每行3个正 整 ...

  7. 关于HTML中的object元素

    <object>元素:它主要用于定义网页中的多媒体,比如音频,视频,Java applets,PDF,Active和Flash.object标签内除了param标签外,其他的内容将在浏览器 ...

  8. 洛谷 P2894 [USACO08FEB]酒店Hotel 解题报告

    P2894 [USACO08FEB]酒店Hotel 题目描述 The cows are journeying north to Thunder Bay in Canada to gain cultur ...

  9. 版本7以上IE以文件夹视图方式打开FTP的解决

    一.问题的提出 版本7以上IE浏览器打开FTP时只出现列表 二.问题的解决 设置ie浏览器选项即可,以ie9为例,设置步骤如下: 1.启动ie,点击设置按钮,弹出菜单选择internet选项命令: 2 ...

  10. [hdu 2102]bfs+注意INF

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=2102 感觉这个题非常水,结果一直WA,最后发现居然是0x3f3f3f3f不够大导致的……把INF改成I ...