Memcached与MySQL数据同步
1、介绍
在生产环境中,我们经常使用MySQL作为应用的数据库。但是随着用户的增多数据量的增大,我们将会自然而然的选择Memcached作为缓存数据库,从而减小MySQL的压力。但是memcached在用户、应用与MySQL三者中保持着数据同步也是一个不小的工程。
例如用户从memcached缓存中换取某数据,并且执行删除命令。它需要到MySQL中删除,之后还须要设计一个程序将Memcached与之对应的数据也删除掉。
假若我们能够做到在MySQL中增删改时都能够自动触发删除memcached中相应的数据,那岂不美滋滋呀。这当然能够做到啦,我们将采用采用MySQL Memcached UDF(User Defined Functions)方法。
mysql memcached UDF 其实就是通过libmemcached来使用memcache的一系列函数,通过这些函数,你能 对memcache进行get, set, cas, append, prepend, delete, increment, decrement objects操作,如果我们通过mysql trigger来使用这些函数,那么就能通过mysql更好的,更自动的管理memcache!
2、软件下载与安装
2.1、软件下载
需要使用的软件又两个,libmemcached以及memcached_functions_mysql
百度云下载链接:http://pan.baidu.com/s/1pKCKjwB 密码:fks8
网上找的下载网址:http://download.tangent.org(当时找软件的时候,网上多篇文章都说这里可以下载那两个软件。可我进去就是找不到呀,23333)
2.2、软件安装
简介:
这两个软件的安装比较蛋疼,毕竟是开源软件,哪个版本依赖哪个版本,哪个版本不与哪版本个兼容。当时我安装这两个软件用了一个上午时间。因为之前我在安装PHP中memcached扩展模块需要依赖这个软件库,所以安装了一个最新版本libmemcached-1.0.18,因而能够使用PHP的memcached扩展模块中的所有功能。、
但是在安装memcached_functions_mysql时,就显得很蛋疼了。
一开始我直接安装memcached_functions_mysql-1.1,到make的时候就出现下面的错误。
servers.c:122: error: 'memcached_st' has no member named 'hosts'
servers.c:123: error: 'memcached_st' has no member
named 'hosts'
servers.c:124: error: 'memcached_st' has no member
named 'hosts'
servers.c:126: error: 'memcached_st' has no member
named 'hosts'
……
这是什么原因呢?
这就是上面所提到软件兼容问题。
后来在网上看到说是memcached_functions_mysql-1.1这个版本配对libmemcached-0.37版本以上都会出现这种问题。
接着我就进行一次又一次测试:
Libmemcached(1.0.2、1.0.3、1.0.18、0.34、0.36版本)+ memcached_functions_mysql-1.1进行安装。结果成功的只有0.34、0.36版本。
因为我想要保证相对较高版本的libmemcached,因为低版本的不支持PHP的memcached扩展模块的一些新功能。
既然memcached_functions_mysql-1.1版本不能对应libmemcached的高版本,那么我就退而求其次,使用memcached_functions_mysql-0.9咯。
百度了好久好久没找着,最后在国外的网站github中找到。
接着进行memcached_functions_mysql-0.9的安装测试,结果还是不理想。
突然灵光一闪,那我就安装两个libmemcached咯,一个1.0.18版本,一个0.34版本。最终成功安装。(libmemcached-0.34与memcached_functions_mysql-1.1配对进行安装)
1):安装libmemcached-0.34
参考
http://www.cnblogs.com/phpstudy2015-6/p/6670103.html#_label2
2):安装memcached_functions_mysql-1.1
#tar zxvf memcached_functions_mysql-1.1.tar.gz
#cd memcached_functions_mysql-1.1
#./configure --with-mysql=/usr/local/mysql/bin/mysql_config --with-libmemcached=/usr/local/libmemcached
#make
#make install
3):拷贝lib文件到mysql的plugin下面
# cp /usr/local/lib/libmemcached_functions_mysql.* /usr/local/mysql/lib/plugin/
4)往MySQL添加memcache UDF函数
一共有两种方法:
1、在MySQL里执行 source install_functions.sql
mysql>source /home/username/(memcached_functions_mysql-1.1源码路径)/sql/ install_functions.sql
2、在linux主机执行mysql <sql/install_functions.sql
#/usr/local/mysql/bin/mysql < /home/username/(memcached_functions_mysql-1.1源码路径)/sql/ install_functions.sql
5):检查添加函数是否成功
mysql>select * from mysql.func;
结果显示有很多函数,表示添加函数成功
注意:
1、必须要带有--with-libmemcached,否则就会显示找不到libmemcached
2、有个小细节,就是经常进行安装卸载libmemcached时(即--prefix有设置相同的名字),即使有--with-libmemcached正确的路径,也有可能会显示找不到libmemcached。
解决:可以使用不同的名字(--prefix);或者重启linux
3、功能介绍
从select * from mysql.func;的结果中我们可以看到很多关于memcached的函数。熟悉memcached指令的同学一眼看过去就能够知道这个函数的大概功能。memc_set、memc_get这不就是相当set与get命令嘛。
具体功能可参考文档:
http://dev.mysql.com/doc/refman/5.1/en/ha-memcached-interfaces-mysqludf.html
简单测试一下这些函数:
#测试前当然要先将MySQL与memcached建立连接啦!
mysql> select memc_servers_set('192.168.95.11:11211');
mysql> select memc_server_count();
mysql> select memc_set('m','llppppp');
mysql> select memc_get('m');
telnet 192.168.95.11 11211
4、实例测试
1、新建一个数据库test233以及表tab1
2、建立三个触发器
插入数据:
mysql>delimiter $
mysql>create trigger tab1_insert_memc
-> before insert on tab1
-> for each row begin
-> set @m=memc_set(NEW.id,NEW.name);
-> end$
更新数据:
mysql> create trigger tab1_update_memc
->before update on tab1
-> for each row begin
-> set @m=memc_replace(OLD.id,NEW.name);
-> end$
删除数据:
mysql> create trigger tab1_delete_memc
-> before delete on tab1
-> for each row begin
-> set @m=memc_delete(OLD.id);
-> end$
mysql>delimiter ;
3、连接memcached服务器进行数据测试
mysql> select memc_servers_set('192.168.95.11:11211');
1)、向tab1插入几条数据,并查看结果
mysql> insert into tab1 value('1','1111aaaaff');
.......
telnet 192.168.95.11 11211
2)、更改数据
mysql> update tab1 set name='ooooooooooooooo' where id=1;
telnet 192.168.95.11 11211
3)、删除数据
mysql> delete from tab1 where id=1;
telnet 192.168.95.11 11211
5、总结建议
1、如果出现mysql服务重启,需要重新连接memcached服务器select memc_servers_set('192.168.95.11:11211)
2、使用命令查看可以设置的参数,根据具体项目设置最合适参数select memc_list_behaviors()/G
3、设置MEMCACHED_BEHAVIOR_NO_BLOCK为打开状态,表示在memcached出现问题时可以继续将数据插入到MySQL中。否则将会等到timeout执行插入操作。
4、在MySQL中使用这个功能时,不要一味地将所有表的数据都布置成这种形式,避免MySQL中使用过多的函数、以及触发器而影响性能。
(以上是自己的一些见解与总结,若有不足或者错误的地方请各位指出)
作者:那一叶随风
声明:以上只代表本人在工作学习中某一时间内总结的观点或结论。转载时请在文章页面明显位置给出原文链接
Memcached与MySQL数据同步的更多相关文章
- Mysql数据同步Elasticsearch方案总结
Mysql数据同步Elasticsearch方案总结 https://my.oschina.net/u/4000872/blog/2252620
- 几篇关于MySQL数据同步到Elasticsearch的文章---第一篇:Debezium实现Mysql到Elasticsearch高效实时同步
文章转载自: https://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ==&mid=2247484358&idx=1&sn=3a78347 ...
- Redis和MySQL数据同步及Redis使用场景
1.同步MySQL数据到Redis (1) 在redis数据库设置缓存时间,当该条数据缓存时间过期之后自动释放,去数据库进行重新查询,但这样的话,我们放在缓存中的数据对数据的一致性要求不是很高才能放入 ...
- ElasticSearch5+logstash的logstash-input-jdbc实现mysql数据同步
在实现的路上遇到了各种坑,再次验证官方文档只能产考不能全信! ElasticSearch安装就不说了上一篇有说! 安装logstash 官方:https://www.elastic.co/guide/ ...
- Elasticsearch和mysql数据同步(logstash)
1.版本介绍 Elasticsearch: https://www.elastic.co/products/elasticsearch 版本:2.4.0 Logstash: https://www ...
- Elasticsearch和mysql数据同步(elasticsearch-jdbc)
1.介绍 对mysql.oracle等数据库数据进行同步到ES有三种做法:一个是通过elasticsearch提供的API进行增删改查,一个就是通过中间件进行数据全量.增量的数据同步,另一个是通过收集 ...
- Kettle ETL 来进行mysql 数据同步——试验环境搭建(表中无索引,无约束,无外键连接的情况)
今天试验了如何在Kettle的图形界面(Spoon)下面来整合来mysql 数据库中位于不同数据库中的数据表中的数据. 试验用的数据表是customers: 第三方的数据集下载地址是:http://w ...
- 高可用的并行MySQL数据同步及分布式
首先聊聊MySQL的数据分布式,目前最为常用的就是Replication(复制)技术.基于此技术外延开来有很多中架构,分类归结为如下: 1.树状结构(Master,Backup-Master ...
- 转载:mysql数据同步redis
from: http://www.cnblogs.com/zhxilin/archive/2016/09/30/5923671.html 在服务端开发过程中,一般会使用MySQL等关系型数据库作为最终 ...
随机推荐
- 本地Solr服务器搭建
一.Solr官网下载http://lucene.apache.org/solr/下载Solr项目文件 在该项目文件中,可以找到我们在本地环境下运行Solr服务器所需要的资源文件,在这里我们以4.10. ...
- 程序员的自我修养:高效使用Google解决问题
如果票选近二十年最伟大的发明,我相信搜索引擎肯定会占据一个不容小觑的位置,它不单是一项发明,更是一项成就,最大程度消灭了信息的不平等.既然人人都可以接触到海量的信息,那么衡量信息财富多寡就只剩下技巧这 ...
- 30分钟掌握 C#6
1. 只读自动属性(Read-only auto-properties) C# 6之前我们构建只读自动属性: public string FirstName { get; private set; } ...
- java 完全二叉树的构建与四种遍历方法
本来就是基础知识,不能丢的太干净,今天竟然花了那么长的时间才写出来,记一下. 有如下的一颗完全二叉树: 先序遍历结果应该为:1 2 4 5 3 6 7 中序遍历结果应该为:4 2 5 ...
- 【LeetCode】Binary Tree Level Order Traversal 【BFS】
Given a binary tree, return the level order traversal of its nodes' values. (ie, from left to right, ...
- JAVA: List用法
1.List中可以添加任何对象,包括自己定义的新的类. class Person{.....}上面定义了一个Person类,下面看好如何使用ListPerson p1=new Person();Per ...
- Scrapy 初体验
开发笔记 Scrapy 初体验 scrapy startproject project_name 创建工程 scrapy genspider -t basic spider_name website. ...
- 超级素数幂 java
链接:https://www.nowcoder.com/questionTerminal/fb511c3f1ac447309368d7e5432c6c79来源:牛客网如果一个数字能表示为p^q(^表示 ...
- Linux实战教学笔记25:自动化运维工具之ansible (一)
第二十五节 ansible之文件的批量分发 标签(空格分隔): Linux实战教学笔记-陈思齐 ---本教学笔记是本人学习和工作生涯中的摘记整理而成,此为初稿(尚有诸多不完善之处),为原创作品,允许转 ...
- HTML里为什么不能在<p>标签中嵌套<div>标签
学习过HTML语言的人都应该知道,在HTML里,有分块级元素和内联元素:例如我们常用到的div,o,ul,dl,table,h1...h6等,这些都是块级元素:而像a,b,i,em,img,span等 ...