Memcache学习笔记

以下内容大部分来自网络,小部分是本人遇到的问题融合后的记录.

先贴一段涨姿势~

---

Memcache是什么

Memcache是danga.com的一个项目，最早是为 LiveJournal 服务的，目前全世界不少人使用这个缓存项目来构建自己大负载的网站，来分担数据库的压力。
它可以应对任意多个连接，使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间，然后建立一个HashTable，Memcached自管理这些HashTable。
Memcache官方网站：http://www.danga.com/memcached，更多详细的信息可以来这里了解

为什么会有Memcache和memcached两种名称？
其实Memcache是这个项目的名称，而memcached是它服务器端的主程序文件名。

Memcache的使用
使用Memcache的网站一般流量都是比较大的，为了缓解数据库的压力，让Memcache作为一个缓存区域，把部分信息保存在内存中，在前端能够迅速的进行存取。那么一般的焦点就是集中在如何分担数据库压力和进行分布式，毕竟单台Memcache的内存容量的有限的。我这里简单提出我的个人看法，未经实践，权当参考。

分布式应用
Memcache本来支持分布式，我们客户端稍加改造，更好的支持。我们的key可以适当进行有规律的封装，比如以user为主的网站来说，每个用户都有User ID，那么可以按照固定的ID来进行提取和存取，比如1开头的用户保存在第一台Memcache服务器上，以2开头的用户的数据保存在第二胎Mecache服务器上，存取数据都先按照User ID来进行相应的转换和存取。

但是这个有缺点，就是需要对User ID进行判断，如果业务不一致，或者其他类型的应用，可能不是那么合适，那么可以根据自己的实际业务来进行考虑，或者去想更合适的方法。

减少数据库压力
这个算是比较重要的，所有的数据基本上都是保存在数据库当中的，每次频繁的存取数据库，导致数据库性能极具下降，无法同时服务更多的用户，比如MySQL，特别频繁的锁表，那么让Memcache来分担数据库的压力吧。我们需要一种改动比较小，并且能够不会大规模改变前端的方式来进行改变目前的架构。

我考虑的一种简单方法：
后端的数据库操作模块，把所有的Select操作提取出来（update/delete/insert不管），然后把对应的SQL进行相应的hash算法计算得出一个hash数据key（比如MD5或者SHA），然后把这个key去Memcache中查找数据，如果这个数据不存在，说明还没写入到缓存中，那么从数据库把数据提取出来，一个是数组类格式，然后把数据在set到Memcache中，key就是这个SQL的hash值，然后相应的设置一个失效时间，比如一个小时，那么一个小时中的数据都是从缓存中提取的，有效减少数据库的压力。缺点是数据不实时，当数据做了修改以后，无法实时到前端显示，并且还有可能对内存占用比较大，毕竟每次select出来的数据数量可能比较巨大，这个是需要考虑的因素。

Memcache的安全
我们上面的Memcache服务器端都是直接通过客户端连接后直接操作，没有任何的验证过程，这样如果服务器是直接暴露在互联网上的话是比较危险，轻则数据泄露被其他无关人员查看，重则服务器被入侵，因为Mecache是以root权限运行的，况且里面可能存在一些我们未知的bug或者是缓冲区溢出的情况，这些都是我们未知的，所以危险性是可以预见的。为了安全起见，我做两点建议，能够稍微的防止黑客的入侵或者数据的泄露。

内网访问
最好把两台服务器之间的访问是内网形态的，一般是Web服务器跟Memcache服务器之间。普遍的服务器都是有两块网卡，一块指向互联网，一块指向内网，那么就让Web服务器通过内网的网卡来访问Memcache服务器，我们Memcache的服务器上启动的时候就监听内网的IP地址和端口，内网间的访问能够有效阻止其他非法的访问。
# memcached -d -m 1024 -u root -l 192.168.0.200 -p 11211 -c 1024 -P /tmp/memcached.pid
Memcache服务器端设置监听通过内网的192.168.0.200的ip的11211端口，占用1024MB内存，并且允许最大1024个并发连接

设置防火墙
防火墙是简单有效的方式，如果却是两台服务器都是挂在网的，并且需要通过外网IP来访问Memcache的话，那么可以考虑使用防火墙或者代理程序来过滤非法访问。
一般我们在Linux下可以使用iptables或者FreeBSD下的ipfw来指定一些规则防止一些非法的访问，比如我们可以设置只允许我们的Web服务器来访问我们Memcache服务器，同时阻止其他的访问。
# iptables -F
# iptables -P INPUT DROP
# iptables -A INPUT -p tcp -s 192.168.0.2 –dport 11211 -j ACCEPT
# iptables -A INPUT -p udp -s 192.168.0.2 –dport 11211 -j ACCEPT
上面的iptables规则就是只允许192.168.0.2这台Web服务器对Memcache服务器的访问，能够有效的阻止一些非法访问，相应的也可以增加一些其他的规则来加强安全性，这个可以根据自己的需要来做。

---

如何在Windows平台下安装Memcached

一、下载Memercached For Windows

 

下载地址：http://www.2cto.com/uploadfile/2012/0522/20120522094758371.rar

 

 

二、安装步骤  www.2cto.com  

 

1、解压到指定目录，如：C:\Memcached\memcached-win32-1.4.4-14。(不一定非得C盘啦~,我就装D了,测试通过!)

 

2、用cmd打开命令窗口，转到解压的目录，输入 “memcached.exe -d install”。(我在这一步遇到了问题无法执行该命令,百度后了解原来是权限不够,同样无法执行该命令的童鞋,可以和我一样从[开始]->[附件]->[命令提示符]右键->[以管理员身份运行],这样打开的命令窗口就可以执行该命令了!)

 

3、打开控制面板，打开服务，可以看到memcached已经在上面可，如果没有启动，则手动启动一下。(其实这步不用手动打开,命令也可以打开,在上一条命令执行完成后,执行"memcache.exe -d start"就可以启动服务啦!~默认分配64M内存，使用11211端口)

 

 

4、使用telnet命令 验证缓存服务器是否可用。(这句telnet命令又不行了,f**k Win7,百度后的解决方案是:首先打开[控制面板]，找到[程序和功能]，然后点击左侧的[打开或关闭Windows功能],找到[Telnet客户端]，前面打勾，然后点确定，然后等一分钟，安装完成后打开[CMD]命令测试一下就可以了。)

 

很多时候需要监控服务器上的Memcached运行情况，比如缓存的查询次数，命中率之类的。但找到的 
那个memcached-tool是linux下用perl写的，我也没试过windows能不能用。后来发现个简单的办法可以做到，就是使用Telnet。

1、windows系统连接memcached端口 cmd命令行中键入telnet 192.168.1.1 11211 11211是memcached绑定的端口号。 
2、连接上端口后输入 stats命令，即可得到描述Memcached服务器运行情况的参数。

 

 

开始什么都不显示，回车后输入命令  stats  查看统计信息，如下图，说明服务器运作正常。

 

 

三、参数介绍

 

1、以上的安装和启动都是在默认环境下进行的，在安装时可设置如下参数：

 

-p 监听的端口  www.2cto.com  

 

-l 连接的IP地址, 默认是本机

 

-d start 启动memcached服务

 

-d restart 重起memcached服务

 

-d stop|shutdown 关闭正在运行的memcached服务

 

-d install 安装memcached服务

 

-d uninstall 卸载memcached服务

 

-u 以的身份运行 (仅在以root运行的时候有效)

 

-m 最大内存使用，单位MB。默认64MB

 

-M 内存耗尽时返回错误，而不是删除项

 

-c 最大同时连接数，默认是1024

 

-f 块大小增长因子，默认是1.25

 

-n 最小分配空间，key+value+flags默认是48

 

-h 显示帮助  www.2cto.com  

 

如：“memcached -d install -l 127.0.0.1 -m 1024 -c2048”。

 

2、如果在安装时没有添加参数，可通过修改注册表信息进行设置，打开注册表，找

 

HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\memcached

在其中有一个“ImagePath”项，值为：

 

"C:\Memcached\memcached-win32-1.4.4-14\memcached.exe" -d runservice

在后面加上“-m 1024 -c2048”。如下图：

 

 

3、输入stats命令后，页面出现的参数介绍。

 

STAT pid 4356 服务器进程ID

 

STAT uptime 56625 服务器运行时间，单位秒

 

STAT time 1225249079 服务器当前的UNIX时间

 

STAT version1.1.0服务器的版本号

 

STAT pointer_size 64

 

STAT rusage_user 151.845489 该进程累计的用户时间(秒:微妙)

 

STAT rusage_system 121.667603 该进程累计的系统时间(秒:微妙)

 

STAT ibuffer_size 4096  www.2cto.com  

 

STAT curr_connections 13 连接数量

 

STAT total_connections 54136 服务器运行以来接受的连接总数

 

STAT connection_structures 318 服务器分配的连接结构的数量

 

STAT cmd_get 100595 取回请求总数

 

STAT cmd_set 6510 存储请求总数

 

STAT get_hits 96543 请求成功的总次数

 

STAT get_misses 4052 请求失败的总次数

 

STAT bytes_read 4427679 服务器从网络读取到的总字节数

 

STAT bytes_written 6585596 服务器向网络发送的总字节数

　 备注：  www.2cto.com  

 

uptime 是memcached运行的秒数，

cmd_get是查询缓存的次数。 cmd_get/uptime得到平均每秒请求缓存的次数。

cmd_set是设置key=>value的次数。整个memcached是个大hash，用cmd_get没有找到的内容，就会调用cmd_set写进缓存里。

get_hits是缓存命中的次数，缓存命中率 = get_hits/cmd_get *100%。

get_misses加上get_hits等于cmd_get。

total_itemscurr_items表示现在在缓存中的键值对个数。

total_items == cmd_set == get_misses，不过当可用最大内存用光时，如果memcached设置为删掉内容，上面的等式就不成

---

Memcache服务器安全： 

 

Memcache服务器端都是直接通过客户端连接后直接操作，没有任何的验证过程，这样如果服务器是直接暴露在互联网上的话是比较危险，轻则数据泄露被其他无关人员查看，重则服务器被入侵，况且里面可能存在一些我们未知的bug或者是缓冲区溢出的情况，这些都是我们未知的，所以危险性是可以预见的。为了安全起见，做两点建议，能够稍微的防止黑客的入侵或者数据的泄露。

现在就关于修改memcache服务器配置的问题说明如下：

1>用内网ip的方式提供web应用服务器调用，不允许直接通过外网调用，如将memcache服务器放在192.168.1.55的服务器上

2>修改端口，如改为11200

3>分配内存，如分配1024M(1G内存)

方法如下：

1>开始>运行:CMD(确定)

2>cd C:\memcached（回车）

3>memcached -m 1024 -p 11200 -l 192.168.1.55(回车)

注意，此时命令行不会回到C:\memcached>状态，并且实际上memcache服务器悄悄变为stop状态了。此窗口不可以关闭。新开一个cmd窗口

4>开始>运行:CMD(确定)

5>cd C:\memcached（回车）

6>memcached -d start(回车)可以关闭此cmd窗口。

此时可以使用新配置的memcache服务器了。

上述方法虽然解决了修改默认配置的问题，但是始终会有一个cmd窗口不可以关闭，否则就回到11211端口的默认配置。

更好的解决方案是通过修改服务的注册表配置：

1>开始>运行：regedit(回车)

2>在注册表中找到：HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\memcached
Server

3>默认的ImagePath键的值是："c:\memcached\memcached.exe" -d
runservice，改为："c:\memcached\memcached.exe" -d runservice -m 512 -p 11200 -l
192.168.1.55（确定，关闭注册表）

4>我的电脑（右键）>管理>服务
找到memcache的服务，重新启动一次即可生效。

此时，同网段内的电脑仍然可以利用这台memcache服务器，我们限定指定的web应用服务器才能够使用，通过防火墙的方式。如只允许192.168.1.2这台Web服务器对Memcache服务器的访问，能够有效的阻止一些非法访问，相应的也可以增加一些其他的规则来加强安全性，这个可以根据自己的需要来做。

Memcache服务器端都是直接通过客户端连接后直接操作，没有任何的验证过程，这样如果服务器是直接暴露在互联网上的话是比较危险，轻则数据泄露被其他无关人员查看，重则服务器被入侵，因为Mecache是以root权限运行的，况且里面可能存在一些我们未知的bug或者是缓冲区溢出的情况，这些都是我们未知的，所以危险性是可以预见的。为了安全起见，我做两点建议，能够稍微的防止黑客的入侵或者数据的泄露。

内网访问

最好把两台服务器之间的访问是内网形态的，一般是Web服务器跟Memcache服务器之间。普遍的服务器都是有两块网卡，一块指向互联网，一块指向内网，那么就让Web服务器通过内网的网卡来访问Memcache服务器，我们Memcache的服务器上启动的时候就监听内网的IP地址和端口，内网间的访问能够有效阻止其他非法的访问。

# memcached -d -m 1024 -u root -l 192.168.0.200 -p 11211 -c 1024 -P
/tmp/memcached.pid

Memcache服务器端设置监听通过内网的192.168.0.200的ip的11211端口，占用1024MB内存，并且允许最大1024个并发连接

设置防火墙

防火墙是简单有效的方式，如果却是两台服务器都是挂在网的，并且需要通过外网IP来访问Memcache的话，那么可以考虑使用防火墙或者代理程序来过滤非法访问。

一般我们在Linux下可以使用iptables或者FreeBSD下的ipfw来指定一些规则防止一些非法的访问，比如我们可以设置只允许我们的Web服务器来访问我们Memcache服务器，同时阻止其他的访问。

# iptables -F
# iptables -P INPUT DROP
# iptables -A INPUT -p tcp -s
192.168.0.2 –dport 11211 -j ACCEPT
# iptables -A INPUT -p udp -s 192.168.0.2
–dport 11211 -j ACCEPT

上面的iptables规则就是只允许192.168.0.2这台Web服务器对Memcache服务器的访问，能够有效的阻止一些非法访问，相应的也可以增加一些其他的规则来加强安全性，这个可以根据自己的需要来做

---

Memcached 客户端程序

Memcached的java客户端已经存在三种了：

?  官方提供的基于传统阻塞io由Greg Whalin维护的客户端

?  Dustin Sallings实现的基于java nio的Spymemcached

?  XMemcached

1. 三种API比较 
1)      memcached client for java

较早推出的memcached JAVA客户端API，应用广泛，运行比较稳定。

2)      spymemcached

A simple, asynchronous, single-threaded memcached client written in java. 支持异步，单线程的memcached客户端，用到了java1.5版本的concurrent和nio，存取速度会高于前者，但是稳定性不好，测试中常 报timeOut等相关异常。

3)      xmemcached

XMemcached同样是基于java nio的客户端，java nio相比于传统阻塞io模型来说，有效率高（特别在高并发下）和资源耗费相对较少的优点。传统阻塞IO为了提高效率，需要创建一定数量的连接形成连接 池，而nio仅需要一个连接即可（当然,nio也是可以做池化处理），相对来说减少了线程创建和切换的开销，这一点在高并发下特别明显。因此 XMemcached与Spymemcached在性能都非常优秀，在某些方面（存储的数据比较小的情况下）Xmemcached比 Spymemcached的表现更为优秀，具体可以看这个Java Memcached Clients Benchmark。

2.  建议

由于memcached client for java发布了新版本，性能上有所提高，并且运行稳定，所以建议使用memcached client for java。

XMemcached也使用得比较广泛，而且有较详细的中文API文档，具有如下特点：高性 能、支持完整的协议、支持客户端分布、允许设置节点权重、动态增删节点、支持JMX、与Spring框架和Hibernate-memcached的集 成、客户端连接池、可扩展性好等。

下面给出这三种客户端的示例程序。

3.  示例程序 
1)      memcached client for java

从前面介绍的Java环境的Memcached客户端程序项目网址里，下载最新版的客户端程 序包：java_memcached-release_2.5.1.zip，解压后，文件夹里找到java_memcached- release_2.5.1.jar，这个就是客户端的JAR包。将此JAR包添加到项目的构建路径里，则项目中，就可以使用Memcached了。

示例代码如下：

package temp;

import com.danga.MemCached.*;

import org.apache.log4j.*;

/**我测试的就是这种,测试通过,赞一个咯!~**/

public class CacheTest {

public static void main(String[] args) {

/**

* 初始化SockIOPool，管理memcached的连接池

* */

String[] servers = { "10.11.15.222:10000" };

SockIOPool pool = SockIOPool.getInstance();

pool.setServers(servers);

pool.setFailover(true);

pool.setInitConn(10);

pool.setMinConn(5);

pool.setMaxConn(250);

pool.setMaintSleep(30);

pool.setNagle(false);

pool.setSocketTO(3000);

pool.setAliveCheck(true);

pool.initialize();

/**

* 建立MemcachedClient实例

* */

MemCachedClient memCachedClient = new MemCachedClient();

for (int i = 0; i < 1000; i++) {

/**

* 将对象加入到memcached缓存

* */

boolean success = memCachedClient.set("" + i, "Hello!");

/**

* 从memcached缓存中按key值取对象

* */

String result = (String) memCachedClient.get("" + i);

System.out.println(String.format("set( %d ): %s", i, success));

System.out.println(String.format("get( %d ): %s", i, result));

}

}

}

2)      spymemcached

spymemcached当前版本是2.5版本，官方网址是：http://code.google.com/p/spymemcached/。可以从地址：http://spymemcached.googlecode.com/files/memcached-2.5.jar 下载最新版本来使用。

示例代码如下：

package temp;

import java.net.InetSocketAddress;

import java.util.concurrent.Future;

import net.spy.memcached.MemcachedClient;

public class TestSpyMemcache {

public static void main(String[] args) {

// 保存对象

try {

/* 建立MemcachedClient 实例，并指定memcached服务的IP地址和端口号 */

MemcachedClient mc = new MemcachedClient(new InetSocketAddress("10.11.15.222", 10000));

Future<Boolean> b = null;

/* 将key值，过期时间(秒)和要缓存的对象set到memcached中 */

b = mc.set("neea:testDaF:ksIdno", 900, "someObject");

if (b.get().booleanValue() == true) {

mc.shutdown();

}

} catch (Exception ex) {

ex.printStackTrace();

}

// 取得对象

try {

/* 建立MemcachedClient 实例，并指定memcached服务的IP地址和端口号 */

MemcachedClient mc = new MemcachedClient(new InetSocketAddress("10.11.15.222", 10000));

/* 按照key值从memcached中查找缓存，不存在则返回null */

Object b = mc.get("neea:testDaF:ksIdno");

System.out.println(b.toString());

mc.shutdown();

} catch (Exception ex) {

ex.printStackTrace();

}

}

}

3)      xmemcached

Xmemcached的官方网址是：http://code.google.com/p/xmemcached/，可以从其官网上下载最新版本的1.2.4来使用。地址是：http://xmemcached.googlecode.com/files/xmemcached-1.2.4-src.tar.gz 。

示例代码如下：

package temp;

import java.io.IOException;

import java.util.concurrent.TimeoutException;

import net.rubyeye.xmemcached.utils.AddrUtil;

import net.rubyeye.xmemcached.MemcachedClient;

import net.rubyeye.xmemcached.MemcachedClientBuilder;

import net.rubyeye.xmemcached.XMemcachedClientBuilder;

import net.rubyeye.xmemcached.exception.MemcachedException;

public class TestXMemcache {

public static void main(String[] args) {

MemcachedClientBuilder builder = new XMemcachedClientBuilder(AddrUtil

.getAddresses("10.11.15.222:10000"));

MemcachedClient memcachedClient;

try {

memcachedClient = builder.build();

memcachedClient.set("hello", 0, "Hello,xmemcached");

String value = memcachedClient.get("hello");

System.out.println("hello=" + value);

memcachedClient.delete("hello");

value = memcachedClient.get("hello");

System.out.println("hello=" + value);

// close memcached client

memcachedClient.shutdown();

} catch (MemcachedException e) {

System.err.println("MemcachedClient operation fail");

e.printStackTrace();

} catch (TimeoutException e) {

System.err.println("MemcachedClient operation timeout");

e.printStackTrace();

} catch (InterruptedException e) {

// ignore

}catch (IOException e) {

System.err.println("Shutdown MemcachedClient fail");

e.printStackTrace();

}

}

}