美团 OCTO 分布式服务治理系统
OCTO 是美团千亿调用量的分布式服务通信框架及服务治理的系统,可实现服务注册、服务自动发现、服务管理、容错处理、数据可视化、服务监控报警、服务分组等。本文总结了 OCTO 架构原理、Java 应用的集成方法、以其控制台的使用。
1 概述
OCTO 是 octopus(章鱼) 的缩写。是美团公司级基础设施,为公司所有业务提供统一的高性能服务通信框架,使业务具备良好的服务运营能力,轻松实现服务注册、服务自动发现、负载均衡、容错、灰度发布、数据可视化、监控告警等功能,提升服务开放效率、可用性及服务运维效率。
参考资料:
【特别说明】OCTO 是美团内部专用系统,未开源,外部无法搭建该系统。
【本文意义】OCTO 是国内重量级的服务治理系统,目前调用量上千亿,通过对该系统的架构原理和使用方法的梳理,可帮助我们深化对分布式服务的认识。
1.1 在美团技术架构中的位置
1.2 功能特性
- 命名服务 - 服务注册;服务自动发现
- 服务管理 - 服务状态监测;服务启动、停止;服务负载均衡
- 容错处理 - 实时屏蔽异常的服务,自动调配请求流量
- 流量分发 - 灰度发布、节点动态流量分配等场景
- 数据可视化 - 服务调用统计上报分析,提供清晰的数据图表展示,清晰了解服务间依赖关系
- 服务分组 - 支持服务动态自动归组与不同场景下的自定义分组,解决在多机房场景下跨机房调用穿透、Sandbox等问题
- 服务监控报警 - 支持服务与接口级别多指标、多维度的监控,支持多种报警方式
- 统一配置管理 - 支持服务配置统一管理,灵活设置不同环境间差异,支持历史版本,配置项变更后实时下发
- 分布式服务跟踪 - 轻松诊断服务访问慢、异常抖动等问题
- 过载保护 - 灵活定义服务消费者的配额,当其调用量超出最大阀值时,基于不同服务消费者进行QoS区分,触发过载保护。
- 服务访问控制
1.3 环境划分
服务提供者的环境分线上(IDC)和线下(办公云)两套系统,线下系统是对线上系统的模拟。
每套系统中都有 test/staging/prod 三个环境。
1.4 调用流程
- 各方(provider/consumer)在 OCTO 上注册自己专用的 appkey,比如 appkey-provider/appkey-consumer
- provider 在 OCTO 上注册服务(标记为 appkey-provider),同一个 appkey 在三个环境中都有部署;
- 假设在 staging 环境 的 consumer 在 OCTO 上请求服务(标记自己 appkey-consumer,目标 appkey-provider)
- OCTO 查询 staging 环境的 appkey-provider 的服务列表,并发送给 consumer
- consumer 通过 mtthrift 访问 IP:PORT 服务
1.5 理解 appkey
以 Nginx 为参照来理解。
对于传统的配置方式,域名与物理服务器的映射关系由 Ngnix 维护,物理服务器的增减需要运维人员调整,无法动态完成:
对于 appkey 的配置方式,新增了 appkey 一层:
- 域名与 appkey 的映射关系由 Nginx 配置,以后无需调整;
- 而 appkey 与物理服务器的映射关系,可以动态调整。
Thrift 同理,对于客户端请求(appkey:port),Thrift Server 通过 appkey 找到物理服务器(IP:port)。
2 整体架构
2.1 MTransport(服务通信框架)
MTthrift 是基于 Thrift(由 Facebook 开源为 Apache Thrift )二次开发,是一个分布式服务通讯框架,致力于提供高性能和透明化的RPC远程服务调用方案,是 OCTO 服务治理方案的核心框架,每天为4000+服务提供2000亿+次访问量支持,被广泛应用于新美大各个业务线。
MTransport 是多语言的服务通信框架,它屏蔽了底层高性能网络通信的实现细节, 从而实现简单高效的服务开发。MTransport 支持 Thrift/HTTP/pigeon 等协议。其中 Thrift 包括 MTthrift(Java)、PThrift(PHP)、CThrift(C/C++)、Turbo Thrift(NodeJS)等,Thrift 支持不同语言版本的代码实现, 保持通信协议的一致性,支持服务注册、服务自动发现、分布式服务调用跟踪等。HTTP 目前也支持JAVA、NodeJs以及C++。
MTthrift 提供服务模板管理, 代码生成引擎等高效工具.
2.2 HLB(弹性负载均衡器)
HLB 是 Hardware Load Balance 的缩写。
所有HTTP请求/应答流量都会穿过这个系统,类似amazon elb。
2.3 SG_agent(服务治理代理)
SG 是 Service Governance 的缩写。
SG_agent 部署在各服务节点(服务的提供者和消费者),通过与MNS进行通信,提供服务注册/发现、配置更新、访问控制、配额限制等功能,并将调用统计上报给性能监控平台。
2.4 MNS(美团命名服务)
MNS 是 Meituan Naming Service 的缩写。
MNS 是服务注册路由中心,基于 ZooKeeper 构建,为公司各类分布式服务提供稳健可靠的命名服务管理组件, 快速实现服务注册、路由、服务自动发现。
主要提供服务概要、节点IP/Port、节点权重、配额等信息的存储/访问,及服务健康状态检测等。
- 可靠性:
(1)一致性:不论连接到集群的哪一台服务器节点,展示的都是一致的数据视图。
(2)原子性:节点的更新要么成功,要么失败。
(3)高可用性:在2n+1台机器组成的集群中,即使n台机器失败,仍不影响集群的高可用性。 - 去中心化:中心的MNS主要提供服务注册、发现、路由策略等功能,其他服务主要由在各服务节点的SG_agent提供。
2.5 Data-center(服务数据中心)
收集公司所有接入OCTO业务的上报日志数据,为各业务线提供系统的性能指标、健康状况、基础告警等
2.6 Scanner(健康检查系统)
扫描各服务的健康状况,不可用时从 MNS 中剔除。
2.7 MCC(美团配置中心)
MCC 是 Meituan Config Center 的缩写。
统一配置中心,提供统一配置管理服务, 实现配置与代码分离、配置信息实时更新、高可用性、版本控制, 提高服务开发效率,降低运维成本。
其原理是将 JSON 格式的配置文件存储在 ZooKeeper 目录下,当用户在 MSGP 更改配置时,由 MSGP 通知 SG_agent 进行数据拉取,将zk中的配置数据落地到本机的指定目录中。
2.8 MSGP(美团服务治理平台)
MSGP 是 Meituan Service Governance PlatForm 的缩写。
目标:为公司各类服务提供注册、治理、诊断,配置,配额等功能的一站式管理平台。
3 接入方法
使用thrift 提供的@ThriftService、@ThriftMethod、@ThriftStruct、@ThriftField等注解,注解于普通的Java类,使其成为thrift的数据模型(model)和服务接口(service)。其使用模式与 Dubbo 非常相似:服务的提供者和消费者基于共同的一套接口定义。
下面基于 SpringBoot 创建 interface/provider/consumer 三个模块。
在本机上运行 provider,即可成功注册至 dev 环境的 OCTO 上。
在本机上运行 consumer,即可成功消费 provider 提供的服务。
本例已在美团内网跑通。
3.1 公用接口 service-interface
引入依赖包,并定义接口 DemoThriftService。
其中用到的参数 StudentParam / GenderEnum 必须用相关注解标注。
3.1.1 pom.xml
|
|
3.1.2 StudentParam.java
|
|
3.1.3 GenderEnum.java
|
|
3.1.4 DemoThriftService.java
|
|
3.2 服务提供者 service-provider
引入依赖包:service-interface 是刚定义的公用接口,hystrix 用于容错。
本模块中,先是实现公用接口,再定义发布相关配置,再运行 ServiceProviderApplication 启动服务提供者。
3.2.1 pom.xml
|
|
3.2.2 DemoThriftServiceImpl.java
|
|
3.2.3 DemoServiceProviderConfig.java
|
|
3.2.4 ServiceProviderApplication.java
|
|
3.3 服务消费者 service-consumer
引入依赖包:service-interface 是刚定义的公用接口。
本模块中,先是指定服务提供者、消费选项,再使用共用接口定义 Controller 来调用,再运行 ServiceConsumerApplication 启动服务消费者。
启动浏览器访问 http://localhost:8080/demo
,即可调用成功。
3.3.1 pom.xml
|
|
3.3.2 DemoServiceConsumerConfig.java
|
|
3.3.3 DemoConsumerController.java
|
|
3.3.4 ServiceConsumerApplication.java
|
|
4 发布平台(plus)
MtThrift是在 Thrift 上做了定制化修改,使得能代码在 Plus 发布后能够被 OCTO 平台发现处理。
5 服务治理平台(MSGP)
test / staging / prod 各环境都有相应的WEB管理平台(公司内部或者通过VPN才能访问)。
出于信息安全考虑,相关截图不一一提供了。常用功能有:
- 服务详情 / 服务提供者:列出当前 appkey 的各主机(主机名/IP/PORT),可新增或删除主机,可调整权重,可启用或禁用;
- 服务详情 / 服务消费者:分时段查看当前 appkey 的消费者及其消费的提供者主机、调用量等;
- 服务运营 / 服务分组:可设置同中心优先、同机房优先;
- 数据分析 / 来源分析:按时段统计当前 appkey 上游服务的调用(调用量、QPS、耗时等);
- 数据分析 / 去向分析:按时段统计当前 appkey 下游服务的调用(调用量、QPS、耗时等);
- 数据分析 / 主机分析:按时段统计当前 appkey 各主机的被调用情况(调用量、QPS、耗时等)。
美团 OCTO 分布式服务治理系统的更多相关文章
- 美团分布式服务通信框架及服务治理系统OCTO
一.什么是OCTO 定义: OCTO是美团的分布式服务通信框架及服务治理系统,属于公司级基础设施,目前尚未开源. 目标: 为公司所有业务提供统一的服务通信框架,使业务具备良好的服务运营能力,轻松实现 ...
- Leaf——美团点评分布式ID生成系统 UUID & 类snowflake
Leaf——美团点评分布式ID生成系统 https://tech.meituan.com/MT_Leaf.html
- 分布式服务治理框架Dubbo的前世今生及应用实战
Dubbo的出现背景 Dubbo从开源到现在,已经出现了接近10年时间,在国内各大企业被广泛应用. 它到底有什么魔力值得大家去追捧呢?本篇文章给大家做一个详细的说明. 大规模服务化对于服务治理的要求 ...
- Leaf——美团点评分布式ID生成系统
背景 在复杂分布式系统中,往往需要对大量的数据和消息进行唯一标识.如在美团点评的金融.支付.餐饮.酒店.猫眼电影等产品的系统中,数据日渐增长,对数据分库分表后需要有一个唯一ID来标识一条数据或消息,数 ...
- 个人学习分布式专题(二)分布式服务治理之Dubbo框架
目录 Dubbo框架 1.1 Dubbo是什么 1.2 Dubbo企业级应用示例(略) 1.3 Dubbo实现原理及架构剖析 1.4 Dubbo+Spring集成 Dubbo框架 1.1 Dubbo是 ...
- 个人学习分布式专题(二)分布式服务治理之分布式协调技术Zookeeper
分布式协调技术Zookeeper 2.1 zookeeper集群安装部署(略) 2.2 zookeeper的基本原理,数据模型 2.3 zookeeper Java api的使用 2.4 zookee ...
- 分布式服务治理框架dubbo
Dubbo最主要功能有两个 1 RPC调用 2 SOA服务治理方案 Dubbo的架构 Dubbo常见的注册中心有2中,zookeeper以及redis 这篇文章讲解的是采用的zookeeper,要求读 ...
- 美团技术分享:深度解密美团的分布式ID生成算法
本文来自美团技术团队“照东”的分享,原题<Leaf——美团点评分布式ID生成系统>,收录时有勘误.修订并重新排版,感谢原作者的分享. 1.引言 鉴于IM系统中聊天消息ID生成算法和生成策略 ...
- 美团关于分布式ID实践方案
在复杂分布式系统中,往往需要对大量的数据和消息进行唯一标识.如在美团点评的金融.支付.餐饮.酒店.猫眼电影等产品的系统中,数据日渐增长,对数据分库分表后需要有一个唯一ID来标识一条数据或消息,数据库的 ...
随机推荐
- RedHat Enterprise Linux 6.4使用Centos 6的yum源问题
RedHat Enterprise Linux 6.4使用Centos 6的yum源问题 作为一名新手,学习Linux已经一个月了,其间遇到了不少问题,而今天笔者遇到的问题是 #yum install ...
- OpenCV——HOG特征检测
API: HOGDescriptor(Size _winSize, ---:窗口大小,即检测的范围大小,前面的64*128 Size _blockSize,--- 前面的2*2的cell,即cell的 ...
- Android Fragment(一)
一.为什么要引入Fragments? 自从Android 3.0中引入fragments 的概念,可以译为:碎片.片段.其上的是为了解决不同屏幕分辩率的动态和灵活UI设计.大屏幕如平板小屏幕如手机,平 ...
- 20155327 EXP8 Web基础
20155320 EXP8 Web基础 基础问题回答 什么是表单? 表单:可以收集用户的信息和反馈意见,是网站管理者与浏览者之间沟通的桥梁. 表单由文本域.复选框.单选框.菜单.文件地址域.按钮等表单 ...
- 汇编 REPE/REPZ 指令,CMPSB指令
知识点: REPE/REPZ 指令 CMPSB 指令 一.CMPSB //cmp //sub //SCASB//scasw//scasd cmp byte ptr [edi],al //对标志位的 ...
- PHP 练习(租房子)
一.题目要求 二.题目做法 1.建立数据库 2.封装类文件 <?php class DBDA { public $fuwuqi="localhost"; //服务器地址 pu ...
- Caffe 深度学习框架上手教程
Caffe 深度学习框架上手教程 blink 15年1月 Caffe (CNN, deep learning) 介绍 Caffe -----------Convolution Architec ...
- TMS320VC5509的DAC输出TLV5620
1. TLV5620的SPI数据是11位的 但是看图3和图4,感觉用2个字节应该也可以的,不知道行不行,可以试一试吧 2. 不过可惜的是5509A的SPI没有11位的,有点麻烦,只能先试试用两个字节行 ...
- LOJ#6354. 「CodePlus 2018 4 月赛」最短路[最短路优化建图]
题意 一个 \(n\) 个点的完全图,两点之间的边权为 \((i\ xor\ j)*C\) ,同时有 \(m\) 条额外单向路径,问从 \(S\) 到 \(T\) 的最短路. \(n\leq 10^5 ...
- windows下如何查看进程、端口占用、杀死进程教程
一. 查看所有进程占用的端口 在开始-运行-cmd,输入:netstat –ano 可以查看所有进程 二.查看占用指定端口的程序 当你在用tomcat发布程序时,经常会遇到端口被占用的情况,我们想知道 ...