NoSQL：linux操作memcached

缓存数据库

一 NoSQL简介

NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库,随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。

非关系型数据库就是NoSQL，关系型数据库代表MySQL

对于关系型数据库来说，是需要把数据存储到库、表、行、字段里，查询的时候根据条件一行一行地去匹配，当量非常大的时候就很耗费时间和资源，尤其是数据是需要从磁盘里去检索

NoSQL数据库存储原理非常简单（典型的数据类型为k-v），不存在繁杂的关系链，比如mysql查询的时候，需要找到对应的库、表（通常是多个表）以及字段。

1. NoSQL数据可以存储在内存里，查询速度非常快
2. NoSQL在性能表现上虽然能优于关系型数据库，但是它并不能完全替代关系型数据库
3. NoSQL因为没有复杂的数据结构，扩展非常容易，支持分布式

NoSQL数据库的四大分类

k-v形式

memcached、redis 适合储存用户信息，比如会话、配置文件、参数、购物车等等。这些信息一般都和ID（键）挂钩，这种情景下键值数据库是个很好的选择。

文档数据库

mongodb将数据以文档的形式储存。每个文档都是一系列数据项的集合。每个数据项都有一个名称与对应的值，值既可以是简单的数据类型，如字符串、数字和日期等；也可以是复杂的类型，如有序列表和关联对象。数据存储的最小单位是文档，同一个表中存储的文档属性可以是不同的，数据可以使用XML、JSON或者JSONB等多种形式存储。

列存储数据库。

这部分数据库通常是用来应对分布式存储的海量数据。键仍然存在，但是它们的特点是指向了多个列。这些列是由列家族来安排的。如：Cassandra, HBase, Riak.

图形(Graph)数据库

图形结构的数据库同其他行列以及刚性结构的SQL数据库不同，它是使用灵活的图形模型，并且能够扩展到多个服务器上。NoSQL数据库没有标准的查询语言(SQL)，因此进行数据库查询需要制定数据模型。许多NoSQL数据库都有REST式的数据接口或者查询API。如：Neo4J, InfoGrid, Infinite Graph.

NoSQL数据库在以下的这几种情况下比较适用：

1、数据模型比较简单；

2、需要灵活性更强的IT系统；

3、对数据库性能要求较高；

4、不需要高度的数据一致性；

5、对于给定key，比较容易映射复杂值的环境。

分类	Examples举例	典型应用场景	数据模型	优点	缺点
键值（key-value）	Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB	内容缓存，主要用于处理大量数据的高访问负载，也用于一些日志系统等等。	Key 指向 Value 的键值对，通常用hash table来实现	查找速度快	数据无结构化，通常只被当作字符串或者二进制数据
列存储数据库	Cassandra, HBase, Riak	分布式的文件系统	以列簇式存储，将同一列数据存在一起	查找速度快，可扩展性强，更容易进行分布式扩展	功能相对局限
文档型数据库	CouchDB, MongoDb	Web应用（与Key-Value类似，Value是结构化的，不同的是数据库能够了解Value的内容）	Key-Value对应的键值对，Value为结构化数据	数据结构要求不严格，表结构可变，不需要像关系型数据库一样需要预先定义表结构	查询性能不高，而且缺乏统一的查询语法。
图形(Graph)数据库	Neo4J, InfoGrid, Infinite Graph	社交网络，推荐系统等。专注于构建关系图谱	图结构	利用图结构相关算法。比如最短路径寻址，N度关系查找等	很多时候需要对整个图做计算才能得出需要的信息，而且这种结构不太好做分布式的集群方案。

二 Memcached数据存储方式

Memcached是国外社区网站LiveJournal团队开发，目的是为了通过缓存数据库查询结果，减少数据库访问次数，从而提高动态web站点性能。

Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon ）是用C写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护进程通信。

官方站点 http://www.memcached.org/

数据结构简单(k-v)，数据存放在内存里

多线程

基于c/s架构，协议简单

基于libevent的事件处理

自主内存存储处理（slab allowcation)

数据过期方式：Lazy Expiration 和 LRU

Memcached的数据流向：

1 web从db上查询到结果

2 把结果存储到memcached中

3 再次用到该结果，从缓存memcached中取

Slab allocation：

1：先把内存分成很多个Slab，这个大小是预先规定好的，以解决内存碎片的问题。分配给Slab的内存空间被称为Page，默认是1M。一个Slab下可以有多个Page。

2.Page为内存分配的最小单位。

Memcached的内存分配以page为单位，默认情况下一个page是1M，可以通过-I参数在启动时指定。如果需要申请内存 时，memcached会划分出一个新的page并分配给需要的slab区域。page一旦被分配在重启前不会被回收或者重新分配

3.然后把一个Page分成很多个chunk块，chunk块是用于缓存记录的空间。Chunk的

大小是先有一个基本值，然后根据增长因子来增大。每一个page中chunk是相等的空间大小。

Memcached里面保存着slab内空闲的chunk列表，当收到要保存的item的时候，它

会根据item的大小，去选择一个最合适的slab，然后找到空闲的chunk，把数据存放进去。

Growth factor：

Memcached在启动时通过-f选项可以指定 Growth Factor因子。该值控制chunk大小的差异。默认值为1.25。

通过memcached-tool命令查看指定Memcached实例的不同slab状态，可以看到各Item所占大小（chunk大小）差距为1.25

命令：# memcached-tool 127.0.0.1:11211 display

数据过期方式

Lazy Expiration 

Memcached 内部不会监视记录是否过期，而是在get时查看记录的时间戳，检查记录是否过期。这种技术被称为lazy（惰性）expiration。因此，Memcached不会在过期监视上耗费CPU时间。

LRU（Least Recently Used最近最少使用）

Memcached会优先使用已超时的记录的空间，但即使如此，也会发生追加新记录时空间不足的情况，此时就要使用名为Least Recently Used（LRU）机制来分配空间。顾名思义，这是删除“最近最少使用”的记录的机制。因此，当内存空间不足时（无法从slab class获取到新的空间时），就从最近未被使用的记录中搜索，并将其空间分配给新的记录。从缓存的实用角度来看，该模型十分理想。

懒惰删除机制

删除item对象时，不释放内存，作删除标记，指针放入slot回收插槽，次分配的时候直接使用

注意：memcached的LRU不是全局的，而是针对slab的，可以说是区域性的

三 memcached安装与启动

yum list |grep memcache

yum install -y memcached libmemcached libevent

启动：systemctl start memcached

[root@greg02 ~]#systemctl start memcached

[root@greg02 ~]#ps aux |grep memcache

memcach+   2495  0.0  0.0 325568  1184 ?        Ssl  18:17   0:00 /usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024

root       2502  0.0  0.0 112664   968 pts/0    S+   18:17   0:00 grep --color=auto memcache

参数说明:

-d 是启动一个守护进程

-m 是分配给Memcache使用的内存数量，单位是MB

-u 是运行Memcache的用户

-l 是监听的服务器IP地址

-p 是设置Memcache监听的端口,最好是1024以上的端口

-c 选项是最大运行的并发连接数，默认是1024，按照你服务器的负载量来设定

-P 是设置保存Memcache的pid文件

vim /etc/sysconfig/memcached 可以配置参数

比如加上监听的ip，可以把OPTIONS="" 改为OPTIONS="127.0.0.1"

其中-m指定memcached分配内存

-c指定最大并发数

-u指定运行memcached服务的用户

启动也可以用：memcached -d -m 10    -u root -l 127.0.0.1 -p 12000 -c 256 -P /tmp/memcached.pid

四 查看memcached状态

1.memcached-tool 127.0.0.1:11211  stats

2.echo stats |nc 127.0.0.1 11211需要安装nc工具  yum install -y nc

3.若安装libmemcached（yum install –y memcached）后，可以使用命令

memstat --servers=127.0.0.1:11211 查看memcached服务状态

五 memcached命令行

存储命令: set/add/replace/append/prepend/cas

获取命令: get/gets

其他命令: delete/stats..

telnet 127.0.0.1 11211

Memcached语法规则

<command name> <key> <flags> <exptime> <bytes>\r\n <data block>\r\n

注：\r\n在windows下是Enter键

<command name> 可以是set, add, replace

set表示按照相应的<key>存储该数据，没有的时候增加，有的时候覆盖

add表示按照相应的<key>添加该数据,但是如果该<key>已经存在则会操作失败

replace表示按照相应的<key>替换数据,但是如果该<key>不存在则操作失败。

<key> 客户端需要保存数据的key

<flags> 是一个16位的无符号的整数(以十进制的方式表示)。

该标志将和需要存储的数据一起存储,并在客户端get数据时返回。

客户端可以将此标志用做特殊用途，此标志对服务器来说是不透明的。

<exptime> 为过期的时间。

若为0表示存储的数据永远不过期(但可被服务器算法：LRU 等替换)。

如果非0(unix时间或者距离此时的秒数),当过期后,服务器可以保证用户得不到该数据(以服务器时间为标准)。

<bytes> 需要存储的字节数，当用户希望存储空数据时<bytes>可以为0

<data block>需要存储的内容，输入完成后，最后客户端需要加上\r\n（直接点击Enter）作为结束标志。

Memcached数据示例：

六 Memcached数据导出和导入

导出：

memcached-tool 127.0.0.1:11211 dump >
data.txt

cat data.txt

导入：

nc 127.0.0.1 11211 < data.txt

若nc命令不存在，yum install
nc

注意：导出的数据是带有一个时间戳的，这个时间戳就是该条数据过期的时间点，如果当前时间已经超过该时间戳，那么是导入不进去的

vim
mdata.txt中的设置。

七 PHP连接Memcached

先安装php的memcache扩展

cd
/usr/local/src/

wget
 http://www.apelearn.com/bbs/data/attachment/forum/memcache-2.2.3.tgz

tar
zxf memcache-2.2.3.tgz

cd
memcache-2.2.3

/usr/local/php-fpm/bin/phpize

[root@greg02
memcache-2.2.3]#/usr/local/php-fpm/bin/phpize

Configuring for:

PHP Api Version:         20131106

Zend Module Api No:      20131226

Zend Extension Api
No:   220131226

Cannot find autoconf.
Please check your autoconf installation and the

$PHP_AUTOCONF environment
variable. Then, rerun this script.

解决安装yum
install m4;yum install autoconf

./configure
--with-php-config=/usr/local/php-fpm/bin/php-config

make
&& make install

安装完后会有类似这样的提示：

[root@greg02 memcache-2.2.3]#make install

Installing shared extensions:    
/usr/local/php-fpm/lib/php/extensions/no-debug-non-zts-20131226/

然后修改php.ini添加一行

vim
/usr/local/php-fpm/etc/php.ini

extension="memcache.so”

检查/usr/local/php/bin/php-fpm –m

下载测试脚本

curl
www.apelearn.com/study_v2/.memcache.txt > 1.php 2>/dev/null

1.php内容也可以参考https://coding.net/u/aminglinux/p/yuanke_centos7/git/blob/master/21NOSQL/1.php

执行脚本

/usr/local/php-fpm/bin/php
1.php

或者将1.php放到某个虚拟主机根目录下面，在浏览器访问，即可看到效果

最终可以看到数据如下：

[0] => aaa

[1] => bbb

[2] => ccc

[3] => ddd

八 Memcached中存储session

本实例是在lamp/lnmp环境下实现

编辑php.ini添加两行

session.save_handler
= memcache 

session.save_path = "tcp://192.168.0.9:11211"

或者httpd.conf中对应的虚拟主机中添加

php_value
session.save_handler "memcache" 

php_value session.save_path "tcp://192.168.0.9:11211"

或者php-fpm.conf对应的pool中添加

php_value[session.save_handler]
= memcache

php_value[session.save_path]
= " tcp://192.168.0.9:11211 "

wget
http://study.lishiming.net/.mem_se.txt

mv .mem_se.txt  /usr/local/apache2/htdocs/session.php

其中session.php内容可以参考https://coding.net/u/aminglinux/p/yuanke_centos7/git/blob/master/21NOSQL/session.php

curl localhost/session.php

类似于1443702394<br><br>1443702394<br><br>i44nunao0g3o7vf2su0hnc5440

telnet 127.0.0.1 11211

get i44nunao0g3o7vf2su0hnc5440