介绍

  yagent是ycache的一个组件,用于管理memcached或redis的缓存实例。主要功能包括启动cache实例、将cache实例的信息写到zk上给yconsole使用、检测cache实例的状态并做实例级别的故障恢复、redis主备切换的切换、缓存的简单统计信息收集等功能。

原理

 yagen的原理很简单,它是cache服务器上的一个守护进程,并且按照配置要求启动很多cache实例(例如可配置每个cache实例4G空间,那32G内存的服务器就自动起7个实例,预留一些内存给系统使用),并调用kazoo的zk接口将cache服务器和cache实例的信息写到zk上。它在zk上创建了一个ephemeral状态节点标明自己是否处于active状态; 然后它没5s检测一次所有实例的状态(通过向cache实例获取一个key来检测),如果这个cache实例响应超时,就直接重启这个cache实例(很暴力,直接kill -9后从新启动)。当然,它会向yhd的监控系统发一个告警信息。。

redis的主备切换

统计功能

设计一个简单的统计功能,初衷有两个:
  • 可以在yconsole上很容易看到一些比较重要的统计信息,例如命中率、get/set命令的速度、evicted的数量、key总数等。这样可以方便的对比同一个cache id内部负载是否均匀;不同的机器之间负载是否均衡。
  • 可以在分配机器给新的cache id的时候,选取负载低的机器,从而更好的实现负载均衡。
这两个功能,使用监控系统的信息是很麻烦的。实现上,yagent主要负责统计数据的收集,写到zk上;yconsole读取zk上的数据,显示给用户。

yagent 中的功能实现:
yagent会按某个时间间隔读取一次cache的统计信息(间隔可以配置,默认5s),并将这个间隔的统计信息保存到一个链表里(内存中);用户可以配置需要聚合的统计信息的时间间隔(例如指定按每分钟、每小时、每天统计),从链表中将与当前时间对应时间间隔的统计信息取出来,计算这些时间差内的统计增量,将计算结果以字符串的格式保存到这个每个实例在zk的节点的info子节点的内容中。

依赖

linux机器上要有nc这个命令,用于检查mecached和redis的tcp端口是否正常服务。
python的:主要是kazoo这个zk client依赖,其他都是默认有的。


配置

配置项很简单,看名字就明白内部做了什么动作了。

  1. [global]
  2. zoo_svr=
  3. cf_svr_file=/var/www/config/env.ini
  4. localip=
  5. CheckInterval=5
  6. group=default
  7. priority=100
  8. system_res_mem=3072
  9. statsEnable=1
  10. #statsIntervalNum: the interval that update statistics(unit is CheckInterval). default is 600s or 10min
  11. statsIntervalNum=12
  12. #showStatIntervalSec: The statistics interval to be show(unit is second). 5min/1hour/1day
  13. showStatIntervalSec=60,3600,86400
  14. [memcached]
  15. mc_maxmem=4096
  16. mc_meta_size=16
  17. mc_count=-1
  18. mc_args=-u nobody -d -c 10240 -o tail_repair_time=7200 slab_reassign slab_automove
  19. mc_port=11211
  20. mc_port_step=10
  21. mc_fpath=/usr/bin/memcached
  22. mc_enabled=1
  23. mc_port_file=/var/log/yagent_mc_port.cfg
  24. [redis]
  25. peers=
  26. timeout=60
  27. redis_maxmem=128
  28. redis_meta_size=128
  29. redis_count=-1
  30. redis_port=16379
  31. redis_port_step=10
  32. redis_conf=/etc/redis/redis.conf
  33. redis_fpath=/usr/local/bin/redis-server
  34. redis_enabled=0
  35. redis_port_file=/var/log/yagent_redis_port.cfg
  36. check_master_interval=1
  37. get_slaves_interval=100

存在问题:

当前yagent长时间运行后会出现挂死的情况(特别是在开启了统计功能后),还没有找到原因。好在yagent的挂死或重启不会影响ycache-client,所以现在运维检测一下这个,如果挂死就重启它。
  1. [root@whtest144-57 11685]# pstack 11685
  2. Thread 3 (Thread 0x2b5b4a6d6940 (LWP 11704)):
  3. #0 0x000000348580ce51 in sem_wait () from /lib64/libpthread.so.0
  4. #1 0x00000000004bf8fd in PyThread_acquire_lock ()
  5. #2 0x00000000004c27c0 in lock_PyThread_acquire_lock ()
  6. #3 0x0000000000493ca5 in PyEval_EvalFrameEx ()
  7. #4 0x00000000004945f5 in PyEval_EvalCodeEx ()
  8. #5 0x0000000000492331 in PyEval_EvalFrameEx ()
  9. #6 0x00000000004945f5 in PyEval_EvalCodeEx ()
  10. #7 0x0000000000492331 in PyEval_EvalFrameEx ()
  11. #8 0x00000000004945f5 in PyEval_EvalCodeEx ()
  12. #9 0x00000000004ea56c in function_call ()
  13. #10 0x0000000000417bbd in PyObject_Call ()
  14. #11 0x000000000048e945 in PyEval_EvalFrameEx ()
  15. #12 0x00000000004932a8 in PyEval_EvalFrameEx ()
  16. #13 0x00000000004932a8 in PyEval_EvalFrameEx ()
  17. #14 0x00000000004945f5 in PyEval_EvalCodeEx ()
  18. #15 0x00000000004ea46d in function_call ()
  19. #16 0x0000000000417bbd in PyObject_Call ()
  20. #17 0x000000000041ef4f in instancemethod_call ()
  21. #18 0x0000000000417bbd in PyObject_Call ()
  22. #19 0x000000000048bfb6 in PyEval_CallObjectWithKeywords ()
  23. #20 0x00000000004c2bcd in t_bootstrap ()
  24. #21 0x000000348580683d in start_thread () from /lib64/libpthread.so.0
  25. #22 0x0000003484cd526d in clone () from /lib64/libc.so.6

yagent使用说明的更多相关文章

  1. ycache分布式缓存框架

    介绍   ycache是yhd的分布是缓存框架,设计目的是提供易扩展.高可靠的分布式缓存系统.ycache从全局视角分配和管理缓存,检测缓存的状态并做故障恢复.   当应用(应用:使用ycache的上 ...

  2. Atitit.项目修改补丁打包工具 使用说明

    Atitit.项目修改补丁打包工具 使用说明 1.1. 打包工具已经在群里面.打包工具.bat1 1.2. 使用方法:放在项目主目录下,执行即可1 1.3. 打包工具的原理以及要打包的项目列表1 1. ...

  3. awk使用说明

    原文地址:http://www.cnblogs.com/verrion/p/awk_usage.html Awk使用说明 运维必须掌握的三剑客工具:grep(文件内容过滤器),sed(数据流处理器), ...

  4. “我爱背单词”beta版发布与使用说明

    我爱背单词BETA版本发布 第二轮迭代终于画上圆满句号,我们的“我爱背单词”beta版本已经发布. Beta版本说明 项目名称 我爱背单词 版本 Beta版 团队名称 北京航空航天大学计算机学院  拒 ...

  5. Oracle 中 union 和union all 的简单使用说明

    1.刚刚工作不久,经常接触oracle,但是对oracle很多东西都不是很熟.今天我们来了解一下union和union all的简单使用说明.Union(union all): 指令的目的是将两个 S ...

  6. Map工具系列-02-数据迁移工具使用说明

    所有cs端工具集成了一个工具面板 -打开(IE) Map工具系列-01-Map代码生成工具说明 Map工具系列-02-数据迁移工具使用说明 Map工具系列-03-代码生成BySQl工具使用说明 Map ...

  7. Map工具系列-03-代码生成BySQl工具使用说明

    所有cs端工具集成了一个工具面板 -打开(IE) Map工具系列-01-Map代码生成工具说明 Map工具系列-02-数据迁移工具使用说明 Map工具系列-03-代码生成BySQl工具使用说明 Map ...

  8. jQuery验证控件jquery.validate.js使用说明

    官网地址:http://bassistance.de/jquery-plugins/jquery-plugin-validation jQuery plugin: Validation 使用说明 转载 ...

  9. gdbsever 使用说明

    gdbsever 使用说明 在新塘N3292x平台下 编译 gdbsever ./configure --target=arm-linux --host=arm-linux arm-linux-gdb ...

随机推荐

  1. 04 Redis主从同步

    redis主从同步 原理:1. 从服务器向主服务器发送 SYNC 命令.2. 接到 SYNC 命令的主服务器会调用BGSAVE 命令,创建一个 RDB 文件,并使用缓冲区记录接下来执行的所有写命令.3 ...

  2. react 不同环境配置不同域名

    npm eject 先将配置文件暴露出来 将scripts中的build文件复制一份,改名为你需要的名字 将其中的 process.env.NODE_ENV 赋值为你需要的环境 在package.js ...

  3. 第十七篇 JS验证form表单

    JS验证form表单   这节课做一个实际的,项目里会遇到的东西,例如登录页面,我们输入‘用户名’和‘密码’或者‘手机号’还有‘验证码’等等,它都会做一个前端验证,比如验证码,是6位有效数字组成,那么 ...

  4. dubbo学习笔记四(异步调用)

    相关资料 官方文档 项目结构 代码示例 [EchoTestApp] @RestController @SpringBootApplication @ImportResource("class ...

  5. mysql数据库备份与恢复命令

    mysqldump -h主机名  -P端口 -u用户名 -p密码 [--databases] 数据库名(可以是多个,用空格分割) > 文件名.sql 备份MySQL数据库的命令(备份脚本中不包含 ...

  6. cmd 创建并写入文件

    一.建立空文件的几种方法1.cd.>a.txtcd.表示改变当前目录为当前目录,即等于没改变:而且此命令不会有输出.>表示把命令输出写入到文件.后面跟着a.txt,就表示写入到a.txt. ...

  7. eclipse查看jsp出现failed to create the part's controls的解决方法

    问题描述 最近eclipse出现了一下问题,某个类无法打开,显示Failed to create the part’s controls ,如图: 问题解决 安装的JDK 版本估计有冲突导致IDE出现 ...

  8. DeepFM: A Factorization-Machine based Neural Network for CTR Prediction (2017)论文要点

    论文链接: https://arxiv.org/pdf/1703.04247.pdf FM原理参考: Factorization Machines with libFM 论文阅读  https://w ...

  9. STM32CubeIDE查看内存使用情况

    按照下图操作 在右下角即可显示

  10. win7系统安装虚拟网卡进行与Linux虚拟机的通信

    有网络情况下,安装Linux时选择网桥即可实现Window与Linux直接通信. 无网络情况下,最简单的方法是在window系统中安装虚拟网卡,以进行与Linux的通信,步骤如下: (1)右击“我的计 ...