Consul和Kong的实践(一)
Consul和Kong的实践(一)
这一篇先介绍consul集群,以及consul和应用服务的结合使用,下一篇是和kong网关的结合。
一.Consul的集群安装
以其中一台机器为例:
- **mkdir /usr/local/consul ** 创建consul的安装目录
- cd /usr/local/consul
- wget https://releases.hashicorp.com/consul/1.5.2/consul_1.5.2_linux_amd64.zip 建议大家不要直接使用我给出的下载地址,可以开了代理下好了,再将consul压缩包上传到服务器或者虚拟机。官网下载地址:https://www.consul.io/downloads.html (我是centos7.X 64位操作系统)
- unzip consul_1.5.2_linux_amd64.zip 解压cconsul压缩包,如果没有unzip命名,先安装(yum -y install unzip)consul的压缩包解压以后是非常干净的,只有一个consul的二进制文件。
- **cp consul /usr/local/bin **将consul文件复制到 /usr/local/bin 目录下面,这样我们不管在什么目录下都可以运行了。
- consul version 老规矩,版本号测试一下。
- 下一步就是开启consul的server服务了,consul分为server和client两种节点。我们现在是先搭建server集群。开启consul server节点有两种方式。
1)直接运行,控制台可查看日志,ctrl+c可直接退出。
** consul agent -server -ui -bootstrap-expect=3 -data-dir=/tmp/consul -node=node1
-client=0.0.0.0 -bind=192.168.0.171 -datacenter=dc1
2) 后台运行
** nohup consul agent -server -ui -bootstrap-expect=3 -data-dir=/tmp/consul -node=node1
-client=0.0.0.0 -bind=192.168.0.171 -datacenter=dc1 >/tmp/consul/nohup.out 2>&1 &
简单介绍一下参数的意思:
** -server : 定义agent运行在server模式
** -ui:开启ui管理
-bootstrap-expect :在一个datacenter中期望提供的server节点数目,当该值提供的时候,consul一直等到达 到指定sever数目的时候才会引导整个集群,该标记不能和bootstrap共用
-client:consul服务侦听地址,这个地址提供HTTP、DNS、RPC等服务,默认是127.0.0.1所以不对外提供服 务,如果你要对外提供服务改成0.0.0.0
如果你对更多配置有兴趣,可以移步以下地址: https://www.consul.io/docs/agent/options.html
- 启动以后我们可以检查一下端口是否监听:netstat -tunlp (如果nestat没装,可以执行 yum -y install net-tools)。可以看到8300 8301 8302以及8500和8600端口都已经监听了。
其中8500是ui端口,在我们集群启动以后,可以用ip:8500/ui 查看,8600是域名解析端口,在我的解决方案里 面会使用到。
9. **consul members **查看成员,目前只有改节点。
- 在另外两台虚拟机或者服务器上重复以上操作,第七步命令有一些不同。
consul agent -server -ui -bootstrap-expect=3 -data-dir=/tmp/consul -node=node2 -client=0.0.0.0
-bind=192.168.0.155 -datacenter=dc1 -join 192.168.0.171
consul agent -server -ui -bootstrap-expect=3 -data-dir=/tmp/consul -node=node3 -client=0.0.0.0
-bind=192.168.0.169 -datacenter=dc1 -join 192.168.0.171
- **consul members **此刻就可以看到有三个节点了
12.consul operator raft list-peers
在这里我们可以看到consul集群已经启动了,自动选举node2节点,也就是ip为155的这台机器为leader,如果你 断开了这台机器,集群会自动选举下一个leader。
13.现在你可以选择选择三台机器的任意一台机器的ip,访问ip:8500,即可以看到ui管理。(请注意关闭防火墙,或 者打开该端口。不然其他机器上访问不到)
二.Consul的架构以及和应用程序的结合
目前我们的架构如图:
我们这篇博客要达到的目的:
consul提供的节点有两种模式,上面我们已经提到了,我们之前搭建的就是server,每个应用程序application到consul server之间,需要client的交互。你说client和application是部署在一台机器上面的,这是官方推荐的架构,当然我们也可以有其他选择,这里我采用的是这种,比较简单。(client是一个非常轻量级的进程.用于注册服务,运行健康检查和转发对server的查询,client无状态)
为了做到高可用,我们application服务本身就必须是高可用的,如图所示,比如serviceA(文中application等于service概念)我在三台服务器上都部署了,同时通过三个consul client注册了。这样,不管是某台consul client或者某台service挂了,或者某台consul server,都不会影响到我们的使用,其实nginx也可以做到类似功能,不过在服务注册和发现上面,consul更为灵活。
简单介绍了一下我的设计,让我们来继续搭建吧:
机器有限,我就不换机器了,还是在这三台服务器上面去部署了,这次部署consul client 我给你介绍另外一种 方式部署,docker,其实consul server的部署也可以用docker,这个选择自己习惯的就行。
1.部署client
1)yum install -y docker 如果机器已经安装了docker 请直接跳至第四步
2)systemctl start docker
3)systemctl status docker
4) docker pull consul:1.5.2
5)docker images 查看镜像,可以看到已经拉到了。
6)docker run --name nodeclient1 -d -p 8501:8500 -p 8311:8301 -p 8312:8302 -p 8601:8600 consul:1.5.2 agent -ui -bind=0.0.0.0 -client=0.0.0.0 -join 192.168.0.171
7)consul members
8)按照架构图里面还需要部署两台,这里就不做演示了,按照上述步骤,大家可以自行部署。
9)部署完了可以在ui界面里面看一下。
2.注册services
consul提供http api的方式注册,如果是.NET core的程序可以采用这种方式手动去写脚本,或者代码去注册。我这边是java程序,采用的框架都是springboot,所以引用了springcloud就直接结合了consul的注册,我先介绍一下这种。
1)引用maven包
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-consul-all</artifactId>
<version>2.1.1.RELEASE</version>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
<version>2.1.5.RELEASE</version>
</dependency>
2)配置bootstrap.yml配置文件,如果你本来项目是application.yml可以直接换成bootstrap.yml.
核心配置贴个图:
spring:
application:
name: operating #Operating
cloud:
consul:
host: 192.168.0.171
port: 8501
discovery:
register: true
hostname: 192.168.0.159
serviceName: ${spring.application.name}
healthCheckPath: /api/operating/actuator/health
healthCheckInterval: 15s
tags: urlprefix-/${spring.application.name}
#instanceId: ${spring.application.name}:${spring.cloud.client.ip-address}
老规矩给大家介绍一下配置的意思:
host: consul client 的ip。
port: client 的port 。正常是8500,但是我用docker部署的时候用了8501映射了容器的8500,。
hostname:健康检查的ip 也就是你当前应用的ip,其实和前面host一样,你把application和consul client部署 在同一台机器的时候,这两个地方可以都填127.0.0.1。
healthCheckPath:如果你没配置context-path,那么就是/actuator/health,我这里配置context-path****,所以 加上来了。
tags: 后期做版本管理,我会用起来,现在无所谓。
instanceId: consul 注册的时候默认是applicationName+port ,我这里将他重写了。所以你看到我将它注释掉 了。
3)启动springboot程序。服务注册成功,查看ui管理
三.基于consul集群架构,调用服务
现在我们的服务已经注册到了consul上面了,那么针对目前架构,我们肯定还有两个疑惑。
1.公司服务器内部之间的调用,比如我们已经注册了的rpc服务之间的调用,当然你是Restful也所谓。
2.网关层面怎么调用consul。
针对第一点,springcloud是提供部分sdk的,当然如果你是.NET CORE,我不太清楚是否有相关sdk,没有也可以自己写。我先介绍一下,你如果想实现自己sdk的思路。
consul任何一个节点都提供了
http://192.168.0.155:8500/v1/agent/services 节点内部所有存活服务查询
http://192.168.0.155:8500/v1/catalog/services 集群内部所有存活服务查询
http://192.168.0.155:8500/v1/agent/service/serviceName 节点内部单个服务查询
http://192.168.0.155:8500/v1/catalog/service/serviceName 集群内部单个服务查询
Tip:serviceName替换成你注册的名称
根据上述consul api接口我们是可以拿到你注册的service实际ip和content-path,并且还有tags,那么你还可以利用tags进行版本控制。
那我们先来看看,springcloud替我们做了什么?
引用的包,我们已经引用了。
直接上代码:
public class ServerInvoke {
@Autowired
private LoadBalancerClient loadBalancer;
@Autowired
private DiscoveryClient discoveryClient;
/**
* 获取所有服务
*
* @return
*/
private List<ServiceInstance> services(String serverName) {
return discoveryClient.getInstances(serverName);
}
/**
* 从所有服务中选择一个服务(轮询)
*/
private ServiceInstance discover(String serverName) {
return loadBalancer.choose(serverName);
}
}
很明显可以发现我们可以拿到服务的实际地址,如果你的服务是高可用的,会轮训拿到不同的地址。
针对服务以jsonrpc协议内部调用时
由于公司之前都是基于jsonrpc在调用(.NET平台)为了兼容。我写了一个非常简单的sdk,传到了github,如果你公司不是jsonrpc协议,你可以自己写一个,思路上面已经给了提供,在参考一下我写的。(草稿版)
https://github.com/xiaoxiaobanxian/discoveryrpcsdk/tree/master
针对服务被外部(网关层调用)
前文已经介绍了,consul是8600端口作为域名解析的,并且consul会为你的服务提供一个域名:serviceName.service.consul。所以只需要将你的请求转发到8600即可,你可以采用serviceName.service.consul/XXX来访问你的服务,前提是已经转发到了consul的域名解析端口。
测试一下** dig @127.0.0.1 -p 8600 Operating.service.consul SRV **(dig命令安装 yum install bind-utils)
可以看到通过consul域名解析是没有问题的。
关于consul的集群安装,client安装和services注册我已经介绍完了,他们之间的调用也介绍了。下一篇文章就是介绍如何和kong网关结合起来。即使你不选择Kong作为你的网关,这篇文章也可以帮你完善你的服务注册和发现,以及调用。谢谢大家。
Consul和Kong的实践(一)的更多相关文章
- Consul 快速入门 - Kong最佳实践
Consul是什么 Consul是一个服务网格(微服务间的 TCP/IP,负责服务之间的网络调用.限流.熔断和监控)解决方案,它是一个一个分布式的,高度可用的系统,而且开发使用都很简便.它提供了一个功 ...
- Ocelot+Consul 集群搭建实践
博客园已经有很多大神写过consul集群搭建了.大家都在玩,那我也不能托后退呢 不过自己研究下还是好的.毕竟每个人遇到的问题的不同 研究过才能说自己玩过consul,文章有部分名词解释是收集网络 Co ...
- API网关--Kong的实践
1. 什么是Kong 目前互联网后台架构一般是采用微服务,或者类似微服务的形式,应用的请求通常需要访问多个后台系统.如果让每一个后台系统都实现鉴权.限流.负载均衡.审计等基础功能是不合适的,通用的做法 ...
- Python微服务实践-集成Consul配置中心
A litmus test for whether an app has all config correctly factored out of the code is whether the co ...
- kong添加upstream
整理的文档比较早,kong版本可能是0.10.3版本.详情请看官网最新文档 准备 使用kong代理后端请求 1.开放几个接口如下: 本地请求1:http://aaa.wyc.com:8888/aaa ...
- 未来已来:云原生 Cloud Native
作者:天知,原文链接 前言 自 2013 年容器(虚拟)技术(Docker)成熟后,后端的架构方式进入快速迭代的阶段,出现了很多新兴概念: 微服务 k8s Serverless IaaS:基础设施服务 ...
- 1-Kong文章记录
参考: https://www.cnblogs.com/duanxz/p/9770645.html 系列博客可参考: 开源API网关系统(Kong教程)入门到精通 https://www.cnblog ...
- 6.Docker容器底层实现了解与安全机制
原文地址: 点击直达 0x00 底层实现 我们以 Docker 基础架构来探究Docke底层的核心技术,简单的包括: Linux 上的命名空间(Namespaces) 控制组(Control grou ...
- k8s实践 - 如何优雅地给kong网关配置证书和插件。
前言 从去年上半年微服务项目上线以来,一直使用kong作为微服务API网关,整个项目完全部署于k8s,一路走来,对于k8s,对于kong,经历了一个从无到有,从0到1的过程,也遇到过了一些坎坷,今天准 ...
随机推荐
- Spring事物管理简介 (转)
一.事物1.什么是事物 事物指的是逻辑上的一组操作,这组操作要么全部成功,要么全部失败 2.事物的特性 原子性:事物是一个不可分割的工作单位,事物中的操作要么都发生,要么都不发生 一致性:事物前后数据 ...
- Linux下docker的安装
前言: 因为之前在自己的mac上直接使用HomeBrew的包管理安装的,使用brew install docker即可,这种方法简单,但最近想尝试在Linux下安装,费了一些时间,主要是启动docke ...
- Java:Web Service初入门
前言 Web Service技术在我第一次接触,又没有实际使用时完全不理解这是什么.以为是一种类似Spring,Shiro的编程框架.后来渐渐理解,WS(即Web Service缩写)是一种通用的接口 ...
- 【Linux】一步一步学Linux——VMware Workstation 15 Pro安装图解教程(06)
目录 00. 目录 01. VMware Workstation Pro15下载 02. VMware Workstation Pro15安装 03. VMware Workstation Pro 1 ...
- Codeforces 777D:Cloud of Hashtags(水题)
http://codeforces.com/problemset/problem/777/D 题意:给出n道字符串,删除最少的字符使得s[i] <= s[i+1]. 思路:感觉比C水好多啊,大概 ...
- iOS 国际化 (国际化文字内容不改变,app名字国际化,一键切换语言)
首先我们要分三个步骤讲解怎么一步步实现app名字国际化.内容国际化.一键切换国际化的: 一.app设置内容或者可以说是app名字或者可以说Info.Plist中的东西国际化 app名字国际化 1. ...
- redis 文件事件模型
参考文献: 深入剖析 redis 事件驱动 Redis 中的事件循环 深入了解epoll (转) Redis自己的事件模型 ae EPOLL(7) Linux IO模式及 select.poll.ep ...
- oracle获取当天时间的最开始的时间和最结尾的时间
),,'yyyy-mm-dd')||' 23:59:59' from dual
- 17.Linux命令
1.网络配置 setup 配置 ifup eth0 启动网卡 文件保存在 /etc/sysconfig/network-scripts/ifcfg-eth0,修改ifcfg-eth0配 ...
- delegate委托的例子,实现对Form中控件的更新
using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; usin ...