Kubernetes - 腾讯蓝鲸配置平台(CMDB)开源版部署
蓝鲸CMDB
蓝鲸配置平台(蓝鲸CMDB)是一个基于运维场景设计的企业配置管理服务。主要功能:
1. 拓扑化的主机管理:主机基础属性、主机快照数据、主机归属关系管理
2. 组织架构管理:可扩展的基于业务的组织架构管理
3. 模型管理:既能管理业务、集群、主机等内置模型,也能自定义模型
4. 进程管理:基于模块的主机进程管理
5. 事件注册与推送:提供基于回调方式的事件注册与推送
6. 通用权限管理:灵活的基于用户组的权限管理
7. 操作审计:用户操作行为的审计与回溯
源码地址:https://github.com/tencent/bk-cmdb
架构设计
1. 资源层(store):提供系统所需的资源存储、消息队列以及缓存系统服务
2. 服务层(service layer): 服务层划分为两大模块
a. 资源管理模块:
在配置平台中我们把资源类型进行了抽象,目前划分为主机、进程、通用对象三大类,支持横向扩展,每一类资源由一类微服务进程来管理。
b. 业务场景模块:
业务场景模块是基于资源管理模块的原子接口对应用场景的封装。
基于操作的相关度,目前划分出admin、event、host、topo、process、datacollection几个微服务:
admin服务负责系统的配置刷新、初始化数据写入等操作;
event服务负责系统的事件订阅与推送服务;
process、topo、host分别负责系统进程、拓扑模型、主机数据的使用场景;
datacollection 服务负责系统快照数据的接收与写入。
3. 接口层(api): 这一层是系统的api服务网关。
4. web层(web): web层是系统提供的web服务。通过配置平台提供的web服务界面,用户可以进行资源的操作。
交互说明
1. Zookeeper作为配置中心,利用Admin Server推送配置到Zookeeper,Zookeeper再把配置同步到各个服务的本地。
2. Zookeeper作为服务中心,服务启动时自上报IP端口到Zookeeper,Zookeeper把各个服务的访问地址同步到各个服务本地。
3. Zookeeper Node Watch机制:配置或服务地址更新,都将同步到各个服务本地。
4. Web只通过ajax与Web Server交互,Web Server与Api Server交互,Api Server和各个业务场景模块、资源管理模块交互。
在线预览
当前的CMDB基于web pack打包的js文件比较大,第一次加载会比较慢。
服务器在香港,有可能会稍有延迟。
站点做了流量控制,一个ip每秒100次,一个ip每天100000次,如果接收到“Too Many Requests”的错误,请稍后再试。
图1
图2
部署步骤
0. 环境准备
名称 | 操作系统 | IP | 说明 |
master | CentOS 7 | 192.168.132.130 |
k8s master |
node | CentOS 7 | 192.168.132.136 | k8s node |
db | CentOS 7 | 192.168.132.139 | 数据库服务器,安装mongodb、redis、zookeeper |
registry | -- | -- | 镜像仓库(可选),可使用公有云仓库,可自建仓库 |
1. 安装mongodb(db服务器,docker安装,版本4.0.4)
docker pull mongo:4.0.4
mkdir -p /opt/mongo
docker run --name mongo -v /opt/mongo:/data/db -d -p 27017:27017 mongo:4.0.4
2. 安装redis(db服务器,docker安装,版本5.0.2)
docker pull redis:5.0.2
mkdir -p /opt/redis
docker run --name redis -v /opt/redis:/data -d -p 6379:6379 redis:5.0.2 redis-server --requirepass cc
3. 安装zookeeper(db服务器,docker安装,版本3.4.13)
docker pull zookeeper:3.4.13
mkdir -p /opt/zookeeper
docker run --name zookeeper -v /opt/zookeeper:/data -d -p 2181:2181 zookeeper:3.4.13
4. 配置mongodb(db服务器)
docker exec -it mongo /bin/bash
mongo
use cmdb
db.createUser({user: "cc",pwd: "cc",roles: [ { role: "readWrite", db: "cmdb" } ]})
5. 源码编译
可以按照官方文档进行编译,我这里直接使用可执行文件(linux),版本3.1.0
6. 下载可执行文件,并解压到k8s的node节点上,在node节点上直接打docker镜像(单node,不使用镜像仓库)
cd /root
tar -zvxf cmdb.tar.gz -C /root
7. 初始化配置文件(k8s node节点)
cd /root/cmdb
python init.py --discovery 192.168.132.139:2181 --database cmdb --redis_ip 192.168.132.139 --redis_port 6379 --redis_pass cc --mongo_ip 192.168.132.139 --mongo_port 27017 --mongo_user cc --mongo_pass cc --blueking_cmdb_url http://127.0.0.1:8083 --listen_port 8083
上述指令根据实际填写
8. 调整配置文件(k8s node节点)
cd /root/cmdb/cmdb_adminserver/configures
a. 修改html_root
vi webserver.conf
把html_root=/root/cmdb/web修改为html_root=/cmdb_webserver/web
b. 修改mongo连接串支持mongo 3.6以上版本(可选)
由于MongoDB 从3.6开始更改了默认加密方式,所以如果安装的MongoDB的版本大于等于3.6。
需要手动将configures中每个配置文件中MongoDB的配置项中增加mechanism=SCRAM-SHA-1
9. 启动Admin Server,并把配置文件写入Zookeeper(k8s node节点)
cd /root/cmdb/cmdb_adminserver/
chmod +x start.sh
./start.sh
curl -X POST -H 'Content-Type:application/json' -H 'BK_USER:migrate' -H 'HTTP_BLUEKING_SUPPLIER_ID:0' http://192.168.132.138:60004/migrate/v3/migrate/community/0
10. 拷贝web目录到cmdb_webserver目录(k8s node节点)
cp -rf /root/cmdb/web /root/cmdb/cmdb_webserver/web
11. 把可执行程序打包成docker镜像(k8s node节点)
a. start.sh样例
#!/bin/bash set -e # get local IP.
localIp=`python ip.py` # get zookeeper path from environment variables
zookeeperPath="127.0.0.1:2181"
if [ "$ZOOKEEPER_PATH" ]; then
zookeeperPath=$ZOOKEEPER_PATH
fi # set execute
chmod +x cmdb_apiserver
./cmdb_apiserver --addrport=${localIp}: --logtostderr=true --v= --regdiscv=${zookeeperPath}
b. Dockerfile样例
FROM centos:7.6.1810
COPY . /cmdb_apiserver
WORKDIR /cmdb_apiserver
EXPOSE 8080/tcp
RUN chmod +x start.sh
ENTRYPOINT ./start.sh
在k8s的node节点上构建镜像
docker build -t cmdb-apiserver:3.1.0 .
如果不想自己打镜像,可以直接使用打好的镜像:https://console.cloud.tencent.com/tke/registry/qcloud/default?rid=1,搜索erik_xu/cmdb:
12. 执行yaml脚本完成部署(k8s master节点)
yaml样例:
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: cmdb-apiserver
labels:
app: cmdb-apiserver
namespace: default
spec:
replicas: 1
template:
metadata:
labels:
app: cmdb-apiserver
spec:
nodeSelector:
kubernetes.io/role: node
containers:
- name: cmdb-apiserver
image: cmdb-apiserver:3.1.0
env:
- name: ZOOKEEPER_PATH
value: 192.168.132.139:2181
ports:
- containerPort: 8080 --- kind: Service
apiVersion: v1
metadata:
name: cmdb-apiserver
labels:
app: cmdb-apiserver
namespace: default
spec:
selector:
app: cmdb-apiserver
ports:
- name: cmdb-apiserver
targetPort: 8080
port: 8080
protocol: TCP
把环境变量ZOOKEEPER_PATH的值改成对应的Zookeeper地址,执行脚本完成部署:
kubectl create -f /root/yamls/all-in-one.yaml
yaml地址:https://github.com/ErikXu/bk-cmdb-kubernetes-deploy/blob/master/yamls/all-in-one.yaml
注:cmdb只有web server需要外部访问,因此,只有web server通过node port的方式映射到虚拟机上,yaml文件里的映射端口是30000,可以根据实际调整。
Zookeeper使用介绍
Zookeeper在CMDB充当了配置管理以及服务注册发现的重要角色,因此,我们有必要去了解它。
使用zkCli连接容器中的Zookeeper
docker run -it --rm --link zookeeper:zookeeper zookeeper:3.4.13 zkCli.sh -server zookeeper
查看Zookeeper目录
ls /
发现有一个目录cc,但是无权限查看
ls /cc
查看Acl
getAcl /cc
使用帐号密码认证,可以看到cc目录里的内容
addauth digest cc:3.0#bkcc
帐号密码从CMDB的源码取得
找到配置文件的目录
ls /cc/services/config
查看其中一个配置文件
get /cc/services/config/webserver
查看服务注册目录
ls /cc/services/endpoints
查看其中一个服务注册内容,可以看到它自上报的ip及端口
脚本地址
https://github.com/ErikXu/bk-cmdb-kubernetes-deploy
Kubernetes - 腾讯蓝鲸配置平台(CMDB)开源版部署的更多相关文章
- 这个接口管理平台 eoLinker 开源版部署指南你一定不想错过
本文主要内容是讲解如何在本地部署eoLinker开源版. 环境要求 1.PHP 5.5+ / PHP7+(推荐) 2.Mysql 5.5+ / Mariadb 5.5+ 3.Nginx(推荐) / A ...
- 开发腾讯移动游戏平台SDK ios版Ane扩展 总结
本文记录了在开发 腾讯移动游戏平台SDK(MSDK) ios版Ane扩展 过程中所遇到的问题 文中非常多问题都是基础的问题.对object c和xcode配置了解不深入导致的.(没办法,开发ane的程 ...
- 开发腾讯移动游戏平台SDK Android版Ane扩展 总结
本文记录了在开发 腾讯移动游戏平台SDK(MSDK) Android版Ane扩展 过程中所遇到的问题和相关解决方式 问题一:编译报错:Unable to resolve target 'android ...
- 这份接口管理平台 eoLinker 开源版的部署指南教程你一定不想错过
本文主要内容是讲解如何在本地部署eoLinker开源版. 环境要求 1.PHP 5.5+ / PHP7+(推荐) 2.Mysql 5.5+ / Mariadb 5.5+ 3.Nginx(推荐) / A ...
- 简单描述如何安装配置一个apache开源版hadoop,只描述即可,无需列出完整步骤,能列出步骤更好
1 ) 安装JDK并配置环境变量(/etc/profile) 2) 关闭防火墙 3) 配置hosts文件,方便hadoop通过主机名访问(/etc/hosts) 4) 设置ssh免密码登录 5) 解压 ...
- 腾讯蓝鲸cmdb部署
蓝鲸配置平台 (CMDB)http://172.16.6.10:8088 环境(单机测试): Centos6 16G 200G 依赖环境: Java 1.8.0_92 python 2.7 ZooKe ...
- Centos 7 搭建蓝鲸V4.1.16社区版
第一次搭建蓝鲸平台,参考了蓝鲸社区的官方搭建文档. 友情链接:蓝鲸智云社区版V4.1.16用户手册 搭建时遇到了不少的坑,这里做一个详细的安装梳理 主机硬件要求 官方的推荐如下: 在本地用VMware ...
- 腾讯基于Kubernetes的企业级容器云平台GaiaStack (转)
GaiaStack介绍 GaiaStack是腾讯基于Kubernetes打造的容器私有云平台.这里有几个关键词: 腾讯:GaiaStack可服务腾讯内部所有BG的业务: Kubernetes:Gaia ...
- 腾讯蓝鲸cmdb源码编译
腾讯蓝鲸 cmdb 源码编译环境依赖 环境包参考: golang >= 1.8 python >= nodejs >= (编译过程中需要可以连公网下载依赖包) Python 环境 w ...
随机推荐
- [PKUWC2019]Day1 T2 你和虚树的故事
选择k个颜色,使得颜色的虚树有交的方案数 肯定要考虑连通块的贡献. 法一 https://www.cnblogs.com/xzz_233/p/10292983.html 枚举连通块还是不可行的. 枚举 ...
- ECharts将折线变平滑和去掉点的属性
eries : [ { name:'your name', symbol:'none', //这句就是去掉点的 smooth:true, //这句就是让曲线变平滑的 type:'line', stac ...
- Spring bean实例化的方式
实例化过程如图,方式如图. 甩代码. 方式一:构造方法 搞一个bean,修改一下xml配置 package com.itheima.instance.constructor; public class ...
- Java基础学习--数组
1.数组的定义: 数组(Array)是相同数据类型的数据的有序集合. 2.数组的3个特点: 2.1数组长度是确定.数组一旦申请完空间,长度不能发生变化,用length属性访问. 2.2数组的元素都是同 ...
- Flink 核心技术浅析(整理版)
1. Flink简介 Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink流执行引擎(streaming dataflow engine),提供支 ...
- full join no满连接的使用
查询各个部门工资范围,按照1000~2000,2000~3000....这样的格式显示人数 select * from (select job,count(*) as "1000~2000& ...
- BZOJ 5093[Lydsy1711月赛]图的价值 线性做法
博主曾更过一篇复杂度为$O( k· \log k)$的多项式做法在这里 惊闻本题有$ O(k)$的神仙做法,说起神仙我就想起了于是就去学习了一波 幂与第二类斯特林数 推导看这里 $$ x^k=\sum ...
- 很好用的电脑桌面远程控制软件 支持多平台 Win,Mac,Debian… 等操作系统 Anydesk
很好用的电脑桌面远程控制软件 支持多平台 Win,Mac,Debian, Ubuntu, FreeBSD… 等操作系统 Anydesk 官网下载地址:https://anydesk.com/remot ...
- VS2012发布网站详细步骤问题
http://blog.csdn.net/mrobama/article/details/43118387
- .Net core----mongodb在插入数据时,会产生时间差的问题
今天在给mongodb插入日期格式的数据时发现,日期时间相差8个小时,原来存储在mongodb中的时间是标准时间UTC +0:00,而中国的时区是+8.00 . 因此在插入的时候需要对时间进行处理: ...