非关系数据库一Memcached

第三十四课 非关系数据库一Memcached

目录

一、nosql介绍

二、memrcached介绍

三、安装memcached

四、查看memcachedq状态

五、memcached命令行

六、memcached数据导出和导入

七、php连接memcached

八、memcached中存储sessions

一、nosql介绍

非关系型数据库就是NoSQL，关系型数据库代表MySQL

对于关系型数据库来说，是需要把数据存储到库、表、行、字段里，查询的时候根据条件一行一行地去匹配，当量非常大的时候就很耗费时间和资源，尤其是数据是需要从磁盘里去检索

NoSQL数据库存储原理非常简单（典型的数据类型为k-v），不存在繁杂的关系链，比如mysql查询的时候，需要找到对应的库、表通常是多个表）以及字段。

NoSQL数据可以存储在内存里，查询速度非常快

NoSQL在性能表现上虽然能优于关系型数据库，但是它并不能完全替代关系型数据库

NoSQL因为没有复杂的数据结构，扩展非常容易，支持分布式

常见NoSQL数据库

k-v形式的：memcached、redis 适合储存用户信息，比如会话、配置文件、参数、购物车等等。这些信息一般都和ID（键）挂钩，这种情景下键值数据库是个很好的选择。

文档数据库：mongodb 将数据以文档的形式储存。每个文档都是一系列数据项的集合。每个数据项都有一个名称与对应的值，值既可以是简单的数据类型，如字符串、数字和日期等；也可以是复杂的类型，如有序列表和关联对象。数据存储的最小单位是文档，同一个表中存储的文档属性可以是不同的，数据可以使用XML、JSON或者JSONB等多种形式存储。

列存储 Hbase

图形关系存储 Neo4J、Infinite Graph、OrientDB

二、memrcached介绍

Memcached是国外社区网站LiveJournal团队开发，目的是为了通过缓存数据库查询结果，减少数据库访问次数，从而提高动态web站点性能。

官方站点 http://www.memcached.org/

数据结构简单(k-v)，数据存放在内存里

多线程

基于c/s架构，协议简单

基于libevent的事件处理

自主内存存储处理（slab allowcation)

数据过期方式：Lazy Expiration 和 LRU

memcached数据流向

Slab Allocation的原理

将分配的内存分割成各种尺寸的块（chunk）， 并把尺寸相同的块分成组（chunk的集合），每个chunk集合被称为slab。

Memcached的内存分配以Page为单位，Page默认值为1M，可以在启动时通过-I参数来指定。

Slab是由多个Page组成的，Page按照指定大小切割成多个chunk。

Memcached在启动时通过-f选项可以指定 Growth Factor因子。该值控制chunk大小的差异。默认值为1.25。

通过memcached-tool命令查看指定Memcached实例的不同slab状态，可以看到各Item所占大小（chunk大小）差距为1.25

命令：# memcached-tool 127.0.0.1:11211 display

Lazy Expiration

Memcached 内部不会监视记录是否过期，而是在get时查看记录的时间戳，检查记录是否过期。这种技术被称为lazy（惰性）expiration。因此，Memcached不会在过期监视上耗费CPU时间。

LRU

Memcached会优先使用已超时的记录的空间，但即使如此，也会发生追加新记录时空间不足的情况，此时就要使用名为Least Recently Used（LRU）机制来分配空间。顾名思义，这是删除“最近最少使用”的记录的机制。因此，当内存空间不足时（无法从slab class获取到新的空间时），就从最近未被使用的记录中搜索，并将其空间分配给新的记录。从缓存的实用角度来看，该模型十分理想。

三、安装memcached

1.安装memcached,libmemcached,libevent

[root@lanquark sh]# yum install -y memcached libmemcached libevent
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
epel/x86_64/metalink                                                                                                                              | 6.8 kB  00:00:00
...中间略...
Installed:
libevent.x86_64 0:2.0.21-4.el7   libmemcached.x86_64 0:1.0.16-5.el7    memcached.x86_64 0:1.4.15-10.el7_3.1
Complete!

2.启动memcached服务

[root@lanquark sh]# systemctl start memcached.service
[root@lanquark sh]# systemctl status memcached.service
[root@lanquark sh]# systemctl enable memcached.service

3.编译memcached配置文件

vim /etc/sysconfig/memcached
PORT="11211"
USER="memcached"
MAXCONN="1024"
CACHESIZE="64"
#测试环境设为127.0.0.1
OPTIONS="127.0.0.1"

4.重启memcached服务

[root@lanquark sh]# systemctl restart memcached.servicec

四、查看memcached状态

1.用memcached-tool查看

[root@lanquark sh]# memcached-tool 127.0.0.1:11211 stats
#127.0.0.1:11211   Field       Value
         accepting_conns           1
               auth_cmds           0
             auth_errors           0
                   bytes           0
              bytes_read           7
           bytes_written           0
              cas_badval           0
                cas_hits           0
              cas_misses           0
               cmd_flush           0
                 cmd_get           0
                 cmd_set           0
               cmd_touch           0
             conn_yields           0
   connection_structures          11
        curr_connections          10
              curr_items           0
               decr_hits           0
             decr_misses           0
             delete_hits           0
           delete_misses           0
       evicted_unfetched           0
               evictions           0
       expired_unfetched           0
                get_hits           0
              get_misses           0
              hash_bytes      524288
       hash_is_expanding           0
        hash_power_level          16
               incr_hits           0
             incr_misses           0
                libevent 2.0.21-stable
          limit_maxbytes    67108864
     listen_disabled_num           0
                     pid       12641
            pointer_size          64
               reclaimed           0
            reserved_fds          20
           rusage_system    0.012032
             rusage_user    0.004812
                 threads           4
                    time  1534868520
       total_connections          11
             total_items           0
              touch_hits           0
            touch_misses           0
                  uptime          90
                 version      1.4.15

2.nc工具查看，如果没有nc，可以用yum安装

[root@lanquark sh]# rpm -q nc
package nc is not installed

[root@lanquark sh]# yum -y install nc
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * epel: mirrors.tongji.edu.cn
Resolving Dependencies
--> Running transaction check
---> Package nmap-ncat.x86_64 2:6.40-13.el7 will be installed
--> Processing Dependency: libpcap.so.1()(64bit) for package: 2:nmap-ncat-6.40-13.el7.x86_64
--> Running transaction check
---> Package libpcap.x86_64 14:1.5.3-11.el7 will be installed
--> Finished Dependency Resolution
...中间略...
Installed:
  nmap-ncat.x86_64 2:6.40-13.el7
Dependency Installed:
  libpcap.x86_64 14:1.5.3-11.el7
Complete!

Complete!
[root@lanquark sh]# echo stats |nc 127.0.0.1 11211
STAT pid 12641
STAT uptime 30508
STAT time 1534898938
STAT version 1.4.15
STAT libevent 2.0.21-stable
STAT pointer_size 64
STAT rusage_user 1.488076
STAT rusage_system 0.930047
STAT curr_connections 10
STAT total_connections 12
STAT connection_structures 11
STAT reserved_fds 20
STAT cmd_get 0
STAT cmd_set 0
STAT cmd_flush 0
STAT cmd_touch 0
STAT get_hits 0
STAT get_misses 0
STAT delete_misses 0
STAT delete_hits 0
STAT incr_misses 0
STAT incr_hits 0
STAT decr_misses 0
STAT decr_hits 0
STAT cas_misses 0
STAT cas_hits 0
STAT cas_badval 0
STAT touch_hits 0
STAT touch_misses 0
STAT auth_cmds 0
STAT auth_errors 0
STAT bytes_read 13
STAT bytes_written 1024
STAT limit_maxbytes 67108864
STAT accepting_conns 1
STAT listen_disabled_num 0
STAT threads 4
STAT conn_yields 0
STAT hash_power_level 16
STAT hash_bytes 524288
STAT hash_is_expanding 0
STAT bytes 0
STAT curr_items 0
STAT total_items 0
STAT expired_unfetched 0
STAT evicted_unfetched 0
STAT evictions 0
STAT reclaimed 0
END

3.通过memstat查看

#如果没有memstat命令，需安装libmemcached
[root@lanquark sh]# memstat --servers=127.0.0.1:11211
Server: 127.0.0.1 (11211)
         pid: 12641
         uptime: 30985
         time: 1534899415
         version: 1.4.15
         libevent: 2.0.21-stable
         pointer_size: 64
         rusage_user: 1.523973
         rusage_system: 0.931317
         curr_connections: 10
         total_connections: 13
         connection_structures: 11
         reserved_fds: 20
         cmd_get: 0
         cmd_set: 0
         cmd_flush: 0
         cmd_touch: 0
         get_hits: 0
         get_misses: 0
         delete_misses: 0
         delete_hits: 0
         incr_misses: 0
         incr_hits: 0
         decr_misses: 0
         decr_hits: 0
         cas_misses: 0
         cas_hits: 0
         cas_badval: 0
         touch_hits: 0
         touch_misses: 0
         auth_cmds: 0
         auth_errors: 0
         bytes_read: 30
         bytes_written: 2071
         limit_maxbytes: 67108864
         accepting_conns: 1
         listen_disabled_num: 0
         threads: 4
         conn_yields: 0
         hash_power_level: 16
         hash_bytes: 524288
         hash_is_expanding: 0
         bytes: 0
         curr_items: 0
         total_items: 0
         expired_unfetched: 0
         evicted_unfetched: 0
         evictions: 0
         reclaimed: 0

五、memcached命令行

1.连接memcached

[root@lanquark sh]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.

2.set 命令用于将 value(数据值) 存储在指定的 key(键) 中。

[root@lanquark sh]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
set key2 0 30 2
ab
STORED
get key2
VALUE key2 0 2
ab
END
^]

基础语法：
set key flags exptime bytes [noreply]
value 

参数说明如下：

key：键值 key-value 结构中的 key，用于查找缓存值。

flags：可以包括键值对的整型参数，客户机使用它存储关于键值对的额外信息。

exptime：在缓存中保存键值对的时间长度（以秒为单位，0 表示永远）

bytes：在缓存中存储的字节数

noreply（可选）： 该参数告知服务器不需要返回数据

value：存储的值（始终位于第二行）（可直接理解为key-value结构中的value）

3.add 命令用于将 value(数据值) 存储在指定的 key(键) 中。

[root@lanquark sh]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
add new_key 0 900 10
data_value
STORED

基本语法：
add key flags exptime bytes [noreply]
value

参数说明如下：

key：键值 key-value 结构中的 key，用于查找缓存值。

flags：可以包括键值对的整型参数，客户机使用它存储关于键值对的额外信息。

exptime：在缓存中保存键值对的时间长度（以秒为单位，0 表示永远）

bytes：在缓存中存储的字节数

noreply（可选）： 该参数告知服务器不需要返回数据

value：存储的值（始终位于第二行）（可直接理解为key-value结构中的value）

4.replace 命令用于替换已存在的 key(键) 的 value(数据值)。

如果 key 不存在，则替换失败，并且您将获得响应 NOT_STORED。

[root@lanquark sh]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
add mykey 0 900 10
data_value
STORED
get mykey
VALUE mykey 0 10
data_value
END
replace mykey 0 900 16
some_other_value
STORED
get mykey
VALUE mykey 0 16
some_other_value
END

基本语法:
replace key flags exptime bytes [noreply]
value

参数说明如下：

key：键值 key-value 结构中的 key，用于查找缓存值。

flags：可以包括键值对的整型参数，客户机使用它存储关于键值对的额外信息。

exptime：在缓存中保存键值对的时间长度（以秒为单位，0 表示永远）

bytes：在缓存中存储的字节数

noreply（可选）： 该参数告知服务器不需要返回数据

value：存储的值（始终位于第二行）（可直接理解为key-value结构中的value）

5.append 命令用于向已存在 key(键) 的 value(数据值) 后面追加数据 。

[root@lanquark sh]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
set runoob 0 900 9
memcached
STORED
get runoob
VALUE runoob 0 9
memcached
END
append runoob 0 900 5
redis
STORED
get runoob
VALUE runoob 0 14
memcachedredis
END

基本语法:
append key flags exptime bytes [noreply]
value

参数说明如下：

key：键值 key-value 结构中的 key，用于查找缓存值。

flags：可以包括键值对的整型参数，客户机使用它存储关于键值对的额外信息。

exptime：在缓存中保存键值对的时间长度（以秒为单位，0 表示永远）

bytes：在缓存中存储的字节数

noreply（可选）： 该参数告知服务器不需要返回数据

value：存储的值（始终位于第二行）（可直接理解为key-value结构中的value）

六、memcached数据导出和导入

1.memcached数据导出

[root@lanquark sh]# memcached-tool 127.0.0.1:11211 dump > data.txt
Dumping memcache contents
  Number of buckets: 1
  Number of items  : 3
Dumping bucket 1 - 3 total items
[root@lanquark sh]# cat data.txt
add mykey 0 1534901468 16
some_other_value
add new_key 0 1534901149 10
data_value
add runoob 0 1534901739 14
memcachedredis

2.memcached数据的导入

[root@lanquark sh]# nc 127.0.0..1 11211 < data.txt
Ncat: Could not resolve hostname "127.0.0..1": Name or service not known. QUITTING.
[root@lanquark sh]# nc 127.0.0.1 11211 < data.txt
NOT_STORED
STORED
NOT_STORED
[root@lanquark sh]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
#new_key过期，所以查不到数据
get new_key
END
#runoob值未过期
get runoob
VALUE runoob 0 14
memcachedredis
END

七、php连接memcached

1.安装php的memcached的扩展

#下载memcache插件
root@lanquark src]# wget http://www.apelearn.com/bbs/data/attachment/forum/memcache-2.2.3.tgz
#解压软件包
[root@lanquark src]# tar -zxvf memcache-2.2.3.tgz 

[root@lanquark src]# cd memcache-2.2.3/
[root@lanquark memcache-2.2.3]# /usr/local/php-fpm/bin/phpize

./configure --with-php-config=/usr/local/php-fpm/bin/php-config

[root@lanquark memcache-2.2.3]# make && make install
...略...
Build complete.
Don't forget to run 'make test'.

Installing shared extensions:     /usr/local/php-fpm/lib/php/extensions/no-debug-non-zts-20131226/
#编译php.ini
[root@lanquark memcache-2.2.3]# vim /usr/local/php-fpm/etc/php.ini
#在extension部分增加
extension=memcache.so

#验证
[root@lanquark memcache-2.2.3]# /usr/local/php-fpm/sbin/php-fpm -m | grep mem
memcache

2.新建测试脚本

[root@lanquark memcache-2.2.3]# cd /usr/local/nginx/html/
[root@lanquark html]# vim 1.php
<?php
//连接Memcache Memcache
$mem = new Memcache;
$mem->connect("localhost", 11211);
//保存数据
$mem->set('key1', 'This is first value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val ."<br>";
//替换数据
$mem->replace('key1', 'This is replace value', 0, 60);
$val = $mem->get('key1');
echo "Get key1 value: " . $val . "<br>";
//保存数组数据
$arr = array('aaa', 'bbb', 'ccc', 'ddd');
$mem->set('key2', $arr, 0, 60);
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo "<br>";
//删除数据
$mem->delete('key1');
$val = $mem->get('key1');
echo "Get key1 value: " . $val . "<br>";
//清除所有数据
$mem->flush();
$val2 = $mem->get('key2');
echo "Get key2 value: ";
print_r($val2);
echo "<br>";
//关闭连接
$mem->close();
?>

验证
[root@lanquark html]# /usr/local/php-fpm/bin/php 1.php
Get key1 value: This is first value<br>Get key1 value: This is replace value<br>Get key2 value: Array
(
    [0] => aaa
    [1] => bbb
    [2] => ccc
    [3] => ddd
)
<br>Get key1 value: <br>Get key2 value: <br>[root@lanquark html]#

八、memcached中存储sessions

本实例是在lamp/lnmp环境下实现

编辑php.ini添加两行(需要重启后才能生产)
session.save_handler = memcache
session.save_path = "tcp://127.0.0.1:11211"

或者httpd.conf中对应的虚拟主机中添加
php_value session.save_handler "memcache"
php_value session.save_path "tcp://127.0.0.1:11211"

或者php-fpm.conf对应的pool中添加
php_value[session.save_handler] = memcache
php_value[session.save_path] = " tcp://127.0.0.1:11211 "

[root@lanquark html]# vim /usr/local/php-fpm/etc/php.ini
#在末尾添加，保存文件内容后。然后重启服务器
session.save_handler = memcache
session.save_path = "tcp://127.0.0.1:11211"

#新建session测试文件
[root@lanquark html]# vim session.php
<?php
session_start();
if (!isset($_SESSION['TEST'])) {
$_SESSION['TEST'] = time();
}
$_SESSION['TEST3'] = time();
print $_SESSION['TEST'];
print "<br><br>";
print $_SESSION['TEST3'];
print "<br><br>";
print session_id();
?> 

~
"session.php" [New] 12L, 237C written
[root@lanquark html]# curl localhost/session.php
1534905865<br><br>1534905865<br><br>44v9rm4hitgelt78gl02r7rbt2
[root@lanquark html]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
get 44v9rm4hitgelt78gl02r7rbt2
VALUE 44v9rm4hitgelt78gl02r7rbt2 0 37
TEST|i:1534905865;TEST3|i:1534905865;
END
#说明session有保存在memcached中