php hash算法实现memcached分布式
一、概述
Memcached和mysql一样,是一款客户端/服务器端(C/S)系统管理软件,有IP、端口,一旦启动,服务器就一直处于可用状态。
Mysql是通过SQL语句管理“磁盘中”的文件,Memcached是通过客户端发送的命令管理“内存中缓存”的数据。
需要缓存的对象或数据以 key/value 对的形式保存在服务器端,key的值通过hash(hash算法的意义在于提供一种快速存取数据的方法,它用一种算法建立键值与真实值之间的对应关系)进行转换,把value传递到对应的具体的某台服务器上。
Memcached的分布式不是在服务器端实现的,而是在客户端应用中实现的,即通过内置算法制定目标数据的节点。
多台服务器之间是没有任何通信联系的,每台服务器只是对自己的数据进行管理。
* 布置多台Memcached服务器。怎么确定一个数据应该保存到哪台服务器上?
* 方案一:普通Hash分布。
* 方案二:一致性Hash分布。
理论参考:https://blog.csdn.net/u011489043/article/details/78944985 二、简单hash算法
function simpleHash(string $key)
{
$md5 = md5($key);
$hash = 0;
for ($i = 0; $i < strlen($md5); $i++) {
$hash += ord($md5{$i});
}
return $hash;
}
三、普通hash分布
/**
* 普通Hash分布
* 取模算法算法的原理是:hash(key)%N
*/
$servers = ['192.168.1.12', '192.168.1.20'];
echo PHP_EOL . '普通hash算法' . PHP_EOL;
echo 'save key1 in server:' . $servers[simpleHash('this is key1') % 2] . PHP_EOL;
echo 'save key2 in server:' . $servers[simpleHash('this is key2') % 2] . PHP_EOL;
四、一致性哈希
* 一致哈希(Consistent Hashing)算法,分布式系统负载均衡的首选算法
*
* 步骤:
* 1、通常,一个缓存数据的key经过hash后会得到一个32位的值,
* 将一个32位整数(0~2^32-1)想象成一个环
* 2、通过hash函数把可以处理成整数,在环中找到一个位置与之对应
* 3、使用hash函数处理服务器使用的IP地址,把Memcached服务器群也映射到环上
* 4、把数据映射到服务器上
* 沿着圆环顺时针方向的key出发,直到遇到一个服务器为止,把key对应的数据保存到这个服务器上
* 5、移除服务器
* 受影响的仅是当前服务器节点沿着逆时针出发直到遇到下一个服务器之间的数据,
* 把这些数据按操作4重新映射即可
* 6、添加服务器
* 受影响的是当前服务器节点沿着逆时针出发直到遇到下一个服务器之间的数据,
* 重新映射
PHP的一种实现
class FlexiHash
{
// 保存服务器列表
private $serverList = [];
// 记录服务器列表是否已经排过序
private $isSorted = false; /**
* 添加一个服务器到服务器列表中
*/
public function addServer($server)
{
$hash = simpleHash($server);
if (!isset($this->serverList[$hash])) {
$this->serverList[$hash] = $server;
}
$this->isSorted = false;
return true;
} /**
* 从服务器列表中删除一个服务器
*/
public function removeServer($server)
{
$hash = simpleHash($server);
if (isset($this->serverList[$hash])) {
unset($this->serverList[$hash]);
}
$this->isSorted = false;
return true;
} /**
* 在当前的服务器列表中找到合适的服务器存放数据
* 逆时针的圆环
*/
public function lookup($key)
{
$hash = simpleHash($key);
if (!$this->isSorted) {
krsort($this->serverList, SORT_NUMERIC);
$this->isSorted = true;
}
foreach ($this->serverList as $pos => $server) {
if ($hash >= $pos) {
return $server;
}
}
$index = array_search(min($this->serverList), $this->serverList);
return $this->serverList[$index];
}
} // 测试
echo PHP_EOL . '一致性hash算法' . PHP_EOL;
$hserver = new FlexiHash();
$hserver->addServer('192.168.1.1');
$hserver->addServer('192.168.1.2');
$hserver->addServer('192.168.1.3');
$hserver->addServer('192.168.1.4');
$hserver->addServer('192.168.1.5');
echo '初始分布' . PHP_EOL;
echo 'save key1 in server:' . $hserver->lookup('key1') . PHP_EOL;
echo 'save key2 in server:' . $hserver->lookup('key2') . PHP_EOL;
echo '===============================================' . PHP_EOL;
$hserver->removeServer('192.168.1.4');
echo '删除一台服务器后' . PHP_EOL;
echo 'save key1 in server:' . $hserver->lookup('key1') . PHP_EOL;
echo 'save key2 in server:' . $hserver->lookup('key2') . PHP_EOL;
echo '===============================================' . PHP_EOL;
$hserver->addServer('192.168.1.6');
echo '添加一台服务器后' . PHP_EOL;
echo 'save key1 in server:' . $hserver->lookup('key1') . PHP_EOL;
echo 'save key2 in server:' . $hserver->lookup('key2') . PHP_EOL;
另一种实现 增加虚拟节点
class ConsistentHashing
{
// 每个节点对应虚拟节点数
const VIRTUAL_NODES = 32;
// server 拥有的hash(节点+虚拟节点)
protected $nodes = [];
// hash映射server
protected $position = [];
// 记录服务器列表是否已经排过序
protected $isSorted = false; /**
* 添加节点
*/
public function addNode($server)
{
if (isset($this->nodes[$server])) {
return;
} // 添加节点和虚拟节点
for ($i = 0; $i < self::VIRTUAL_NODES; $i++) {
$hash = $this->myHash($server . '#' . $i);
$this->position[$hash] = $server;
$this->nodes[$server][] = $hash;
} $this->isSorted = false;
} /**
* 删除节点
*/
public function delNode($server)
{
if (!isset($this->nodes[$server])) return; // 循环删除虚拟节点
foreach ($this->nodes[$server] as $val) {
unset($this->position[$val]);
} // 删除节点
unset($this->nodes[$server]); $this->isSorted = false;
} /**
* 定位key所属节点
* 顺时针环
*/
public function lookup($key)
{
if (!$this->isSorted) {
$this->sortPosition();
$this->isSorted = true;
} $hash = $this->myHash($key); // 先取圆环上最小的一个节点,当成结果
$server = current($this->position); // 循环获取相近的节点
foreach ($this->position as $pos => $val) {
if ($hash <= $pos) {
$server = $val;
break;
}
} return $server;
} /**
* 按键名顺序排序
*/
private function sortPosition()
{
ksort($this->position);
} /**
* 自定义哈希函数,把key转为32位符号整数
*/
private function myHash($key)
{ // return sprintf('%u', crc32($key));
return simpleHash($key);
}
} // 测试
echo PHP_EOL . '另一种hash一致性算法' . PHP_EOL;
$ch = new ConsistentHashing();
$ch->addNode('192.168.1.1');
$ch->addNode('192.168.1.2');
$ch->addNode('192.168.1.3');
$ch->addNode('192.168.1.4');
$ch->addNode('192.168.1.5');
echo '初始化' . PHP_EOL;
echo 'save key1 in server:' . $ch->lookup('key1') . PHP_EOL;
echo 'save key2 in server:' . $ch->lookup('key2') . PHP_EOL;
echo '==========================================' . PHP_EOL;
$ch->delNode('192.168.1.4');
echo '删除节点后' . PHP_EOL;
echo 'save key1 in server:' . $ch->lookup('key1') . PHP_EOL;
echo 'save key2 in server:' . $ch->lookup('key2') . PHP_EOL;
echo '==========================================' . PHP_EOL;
$ch->addNode('192.168.1.6');
echo '添加一台服务器后' . PHP_EOL;
echo 'save key1 in server:' . $ch->lookup('key1') . PHP_EOL;
echo 'save key2 in server:' . $ch->lookup('key2') . PHP_EOL;
php hash算法实现memcached分布式的更多相关文章
- 一致性Hash算法在Redis分布式中的使用
由于redis是单点,但是项目中不可避免的会使用多台Redis缓存服务器,那么怎么把缓存的Key均匀的映射到多台Redis服务器上,且随着缓存服务器的增加或减少时做到最小化的减少缓存Key的命中率呢? ...
- 一致性Hash算法在Memcached中的应用
前言 大家应该都知道Memcached要想实现分布式只能在客户端来完成,目前比较流行的是通过一致性hash算法来实现.常规的方法是将server的hash值与server的总台数进行求余,即hash% ...
- Nginx+Memcache+一致性hash算法 实现页面分布式缓存(转)
网站响应速度优化包括集群架构中很多方面的瓶颈因素,这里所说的将页面静态化.实现分布式高速缓存就是其中的一个很好的解决方案... 1)先来看看Nginx负载均衡 Nginx负载均衡依赖自带的 ngx_h ...
- (转) 一致性Hash算法在Memcached中的应用
前言 大家应该都知道Memcached要想实现分布式只能在客户端来完成,目前比较流行的是通过一致性hash算法来实现.常规的方法是将 server的hash值与server的总台数进行求余,即hash ...
- 一致性hash算法在memcached中的使用
一.概述 1.我们的memcacheclient(这里我看的spymemcache的源代码).使用了一致性hash算法ketama进行数据存储节点的选择.与常规的hash算法思路不同.仅仅是对我们要存 ...
- 一致性Hash算法介绍(分布式环境算法)
32的整数环(这个环被称作一致性Hash环),根据节点名称的Hash值(其分布范围同样为0~232)将节点放置在这个Hash 环上.然后根据KEY值计算得到其Hash值(其分布范围也同样为0~232 ...
- 分布式缓存技术memcached学习(四)—— 一致性hash算法原理
分布式一致性hash算法简介 当你看到“分布式一致性hash算法”这个词时,第一时间可能会问,什么是分布式,什么是一致性,hash又是什么.在分析分布式一致性hash算法原理之前,我们先来了解一下这几 ...
- 分布式缓存技术memcached学习系列(四)—— 一致性hash算法原理
分布式一致性hash算法简介 当你看到"分布式一致性hash算法"这个词时,第一时间可能会问,什么是分布式,什么是一致性,hash又是什么.在分析分布式一致性hash算法原理之前, ...
- 分布式一致性hash算法
写在前面 在学习Redis的集群内容时,看到这么一句话:Redis并没有使用一致性hash算法,而是引入哈希槽的概念.而分布式缓存Memcached则是使用分布式一致性hash算法来实现分布式存储. ...
随机推荐
- 解决RStudio(非conda安装)在使用Anaconda中的R环境时,缺失“ libbz2-1.dll ”而不能正常启动问题
1.问题描述 当非conda安装的RStudio,在调用Anaconda中的R环境时,报如下错误: 2.解决办法 下载同版本的R,对Anaconda中R相应的文件进行替换(图标中标注的部分) R3.5 ...
- pycharm中Terminal中运行用例
1.设置终端路径 2.单个用例文件运行 3.多个用例文件,例如加载用例的文件运行 1.可能会出现如下错误(参考:https://blog.csdn.net/qq_36829091/article/d ...
- python学习记录(持续更新)--最最最基础的一部分(方法,异常处理,注释,类)
写在前面 本系列教程针对有一定编程经验的伙伴快速入门python基础,一些涉及开发的常识问题,本文并不涉及. 方法 function def greet_user(name): print(f'Hi ...
- Spring boot 2.x 中使用redis
一.添加Maven 依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifac ...
- Spring boot 中发送邮件
参考:https://blog.csdn.net/qq_39241443/article/details/81293939 添加依赖: <dependency> <groupId&g ...
- Python 基础之模块之os os.path 及os与shutil对比
一: os 对系统进行操作 #注:以下操作都在linux环境下操作,且很多运行之前需要做好相关条件import os#(1)system() 在python总执行系统命令#os.system(&quo ...
- linux 从一台服务器向另台服务器复制文件
使用scp命令: sudo scp -P 2222 username@192.168.0.200:/home/db/db_data.sql.gz /home/db/db_data.sql.gz scp ...
- Flask 教程 第二十三章:应用程序编程接口(API)
本文翻译自The Flask Mega-Tutorial Part XXIII: Application Programming Interfaces (APIs) 我为此应用程序构建的所有功能都只适 ...
- SessionAttributes注解
SessionAttributes注解: a.该注解只能应用在类上: b.该注解用于将Map.ModelMap.Model或ModelAndView中的数据暂存到HttpSession中以使其可以在多 ...
- mybatis注解基础使用
一.创建Maven项目 代码:pom.xml <?xml version="1.0" encoding="UTF-8"?> <projec ...