基于ZK构建统一配置中心的方案和实践
背景:
近期使用Zk实现了一个简单的配置管理的小东西,在此开源出来,有兴趣的希望提出您的宝贵意见。如果恰巧您也使用或者接触过类似的东西,
也希望您可以分享下您觉得现在这个项目可以优化和改进的地方。
项目地址:
https://github.com/cncduLee/zk-ucc
需求:
1、不需要重启应用、修改代码就可以对业务做开关操作
2、避免不必要的重复拉取配置信息,降低网络IO,节省服务器资源。
例如1:开发一个评论系统,违禁词这个东西,应该是可配置的,同时又是变动极少的。如何设计这个违禁词模块呢?
在比如2:开发一个cms系统,你的内容和后台可配置后,是不是每次都去库里面,或者说是你的存储你面查询呢?可不可以缓存在你的应用服务器上面,有改变的时候再去查呢?
下面是对基于ZK(为什么是基于zk)的统一配置中心的设计方案:
1、 首先回答为什么是zk
为什么是基于zk,而不是mq呢?mq也可以达到变更后通知的效果啊。1、zk被广泛应用与各大开源项目(hadoop,pig,hiv,hbase……)所有,稳定,且经过长期测试,各种故障排查,错误恢复的方案很完善。2、zk节点自带一定存储。可以满足体量比较小的配置信息。
2、 方案概要:
简要说明:配置放在应用服务器上面,配置信息有变更的时候再去配置存储中查询配置信息,然后再次缓存到应用服务器
ucc-zookeeper:
基于zookeeper的统一配置中心实现
项目说明
由agent和console组成
agent:作为基础jar包,被接入程序使用
console:后台运营、管理、配置的地方
如何使用统一配置呢?
1、Annotaion 这无疑是最简洁、优雅的方式
2、控制台配置
3、java代码
项目如何接入统一配置?
主要通过三种方式:这三种都需要添加相关的mvn依赖(jar包), 然后就可以在你的项目使用Annotation了
1、spring接入
2、修改启动脚本
3、在控制台配置相关信息
spring接入说明:
第一步
添加mvn依赖:
<dependency>
<groupId>com.jdpay.ucc</groupId>
<artifactId>ucc-spring</artifactId>
<version>1.0-SNAPSHOT</version>
</dependency>
第二步
配置xml方式:
<!--annotation扫描-->
<context:component-scan base-package="com.jdpay.ucc.spring.usage" />
<context:annotation-config/>
<!--声明支持扩展的annotation配置-->
<bean class="com.jdpay.ucc.spring.ConfigAnnotationBeanPostProcessor">
<constructor-arg index="0" value="${zk.servers}"/>
<constructor-arg index="1" value="${zk.forceWhenNull}"/>
</bean>
第三步
spring接入实例
@Service("kw")
@ZkTypeConfigurable(useOwnServer = false,path = "/conf/test/demo")
public class KeyWord implements Config {
@ZkExtendConfigurable(path = "keyWords",update = true,tempKey = "key_words",dataStroe = CacheDataStore.class)
public static Map<String,String> config = new HashMap<String, String>(0);
@Override
public void print() {
System.out.println(config);
}
}
agent接入说明:
提供三种接入方式
方式一:
控制台配置方案,客户端自动加载。
方式二:
通过agent的方式:
1、配置注解:
@ZkTypeConfigurable(servers = "localhost:2181",useOwnServer = true,path = "/conf/test/demo")
public class Requirements {
@ZkFieldConfigurable(path = "name",update = true)
public static String name = "default_name";
@ZkFieldConfigurable(path = "cpu",update = true,resolver = CpuResolver.class)
public static Cpu cpu = new Cpu("default","default","default");
}
2、修改jvm启动参数加上:
-javaagent:cuc-agent-1.0-SNAPSHOT.jar
方式三:
除以上的启动但是外,还支持一下两种agent方式:
1、启动参数
-javaagent:agent.jar=zk@localhost:2181#class@com.jdpay.ucc.Demo
2、jvm环境变量
-javaagent:agent.jar -DZK=localhost:2181 -DCLASS=c1,c2,c3
扩展配置接入说明
1、定义扩展配置存储方案
实现ExtendDataStore接口即可。例如:
public class CacheDataStore implements ExtendDataStore<Map<String,String>> {
public final static Map<String,Map<String,String>> _CACHE = new HashMap<String, Map<String,String>>(10);
static {
//init value
Map<String,String> map = new HashMap<String, String>(4);
map.put("d1","d1");
map.put("d2","d2");
map.put("d3","d3");
map.put("d4","d4");
_CACHE.put("key_words",map);
Map<String,String> map1 = new HashMap<String, String>(4);
map1.put("a1","a1");
map1.put("a2","a2");
map1.put("a3","a3");
map1.put("a4","a4");
_CACHE.put("key_words1",map1);
Map<String,String> map2= new HashMap<String, String>(4);
map2.put("咚咚1","咚咚1");
map2.put("咚咚2","咚咚2");
map2.put("咚咚3","咚咚3");
map2.put("咚咚4","咚咚4");
_CACHE.put("key_words2",map2);
}
@Override
public void setValue(String key, Map<String, String> map) {
_CACHE.put(key,map);
}
@Override
public Map<String, String> getValue(String key) {
return _CACHE.get(key);
}
}
说明:Map<String,String>为扩展配置字段的类型
2、对扩展配置的字段注解
@ZkTypeConfigurable(useOwnServer = false,path = "/conf/test/demo")
public class KeyWord {
@ZkExtendConfigurable(path = "keyWords",update = true,tempKey = "key_words",dataStroe = CacheDataStore.class)
public static Map<String,String> config = new HashMap<String, String>(0);
}
console配置使用说明:
zk节点管理
1、更新,删除节点
2、创建新节点
配置任务管理
TODO
TO LIST
一、配置管理
1、配置管理console部分的开发
2、配置管理的agent部分开发
二、使用doc完善
三、流程管理,项目管理
四、细节调优
无、异常方案
基于ZK构建统一配置中心的方案和实践的更多相关文章
- .NET Core微服务之基于Apollo实现统一配置中心
Tip: 此篇已加入.NET Core微服务基础系列文章索引 一.关于统一配置中心与Apollo 在微服务架构环境中,项目中配置文件比较繁杂,而且不同环境的不同配置修改相对频繁,每次发布都需要对应修改 ...
- Zookeeper笔记之基于zk的分布式配置中心
一.场景 & 需求 集群上有很多个节点运行同一个任务,这个任务会有一些可能经常改变的配置参数,要求是当配置参数改变之后能够很快地同步到每个节点上,如果将这些配置参数放在本地文件中则每次都要修改 ...
- 基于zookeeper实现分布式配置中心(二)
上一篇(基于zookeeper实现分布式配置中心(一))讲述了zookeeper相关概念和工作原理.接下来根据zookeeper的特性,简单实现一个分布式配置中心. 配置中心的优势 1.各环境配置集中 ...
- 基于winserver的Apollo配置中心分布式&集群部署实践(正确部署姿势)
基于winserver的Apollo配置中心分布式&集群部署实践(正确部署姿势) 前言 前几天对Apollo配置中心的demo进行一个部署试用,现公司已决定使用,这两天进行分布式部署的时候 ...
- springcloud-spring cloud config统一配置中心
统一配置中心 为什么需要统一配置中心? 统一配置中心顾名思义,就是将配置统一管理,配置统一管理的好处是在日后大规模集群部署服务应用时相同的服务配置一致,日后再修改配置只需要统一修改全部同步,不需要一个 ...
- SpringCloud系列之分布式配置中心极速入门与实践
SpringCloud系列之分布式配置中心极速入门与实践 @ 目录 1.分布式配置中心简介 2.什么是SpringCloud Config? 3.例子实验环境准备 4.Config Server代码实 ...
- 基于Raft构建弹性伸缩的存储系统的一些实践
基于Raft构建弹性伸缩的存储系统的一些实践 原创 2016-07-18 黄东旭 聊聊架构 最近几年来,越来越多的文章介绍了 Raft 或者 Paxos 这样的分布式一致性算法,但主要集中在算法细节和 ...
- 基于zookeeper实现分布式配置中心(一)
最近在学习zookeeper,发现zk真的是一个优秀的中间件.在分布式环境下,可以高效解决数据管理问题.在学习的过程中,要深入zk的工作原理,并根据其特性做一些简单的分布式环境下数据管理工具.本文首先 ...
- 携程Apollo统一配置中心的搭建和使用
原文链接:https://blog.csdn.net/luhong327/article/details/81453001 一.Apollo配置中心介绍 1.What is Apollo 1.1 Ap ...
随机推荐
- POJ_2386 Lake Counting (dfs 错了一个负号找了一上午)
来之不易的2017第一发ac http://poj.org/problem?id=2386 Lake Counting Time Limit: 1000MS Memory Limit: 65536 ...
- 解读ASP.NET 5 & MVC6系列(8):Session与Caching
在之前的版本中,Session存在于System.Web中,新版ASP.NET 5中由于不在依赖于System.Web.dll库了,所以相应的,Session也就成了ASP.NET 5中一个可配置的模 ...
- [LeetCode] Search in Rotated Sorted Array II 在旋转有序数组中搜索之二
Follow up for "Search in Rotated Sorted Array":What if duplicates are allowed? Would this ...
- c#中多线程同步Lock(锁)的研究以及跨线程UI的操作
本文只针对C#中,多线程同步所用到的锁(lock)作为研究对象.由于想更直观的显示结果,所以,在做demo的时候,就把多线程通过事件操作UI的代码也写了出来,留作备忘和分享吧. 其实多线程的同步,使用 ...
- java web后台开发SSM框架(Spring+SpringMVC+MyBaitis)搭建与优化
一.ssm框架搭建 1.1创建项目 新建项目后规划好各层的包. 1.2导入包 搭建SSM框架所需包百度云链接:http://pan.baidu.com/s/1cvKjL0 1.3整合spring与my ...
- underscore 源码解读之 bind 方法的实现
自从进入七月以来,我的 underscore 源码解读系列 更新缓慢,再这样下去,今年更完的目标似乎要落空,赶紧写一篇压压惊. 前文 跟大家简单介绍了下 ES5 中的 bind 方法以及使用场景(没读 ...
- CentOS中Mysql常用操作
安装mysqlyum -y install mysql-server 修改mysql配置vi /etc/my.cnf 这里会有很多需要注意的配置项,后面会有专门的笔记暂时修改一下编码(添加在密码下方) ...
- 第六次团队作业——Alpha冲刺之事后诸葛亮
Deadline:2016-11-24 22:00pm Alpha冲刺,很多同学经历了"Learning by doing"的学一门新的编程语言.学Git.学做一个完整的项目.但是 ...
- webpack构建vue项目(配置篇)
最近公司要求用vue重构项目,还涉及到模块化开发,于是乎,我专门花了几天的时间研究了一下webpack这个目前来看比较热门的模块加载兼打包工具,发现上手并不是很容易,现将总结的一些有关配置的心得分享出 ...
- Spring和Mybatis整合,配置文件
整合时除了未整合前spring.mybatis的必须包外还需要加入两个包 spring-jdbc-4.2.5.RELEASE.jar mybatis-spring-1.2.5.jar spring-j ...