无论是使用SpringBootAdmin还是使用Prometheus+Grafana都离不开SpringBoot提供的核心组件Actuator。提到Actuator,又不得不提Micrometer,从SpringBoot2.x开始,Actuator的功能实现都是基于Micrometer的。

  Micrometer通过仪表客户端为各种健康监控系统提供了一个简单的外观Facade(Facade模式是23种设计模式中的一种,也叫外观模式 / 门面模式,Facade(外观)模式为子系统中的各类(或结构与方法)提供一个简明一致的界面,隐藏子系统的复杂性,使子系统更加容易使用。它是为子系统中的一组接口所提供的一个一致的界面。)。类似于SLF4J,我们可以自由选择log4j2、logback等日志框架一样,Micrometer支持灵活切换或者多种并存的健康监控系统检测基于 JVM 的应用程序。

  Micrometer提供的功能:

  • 尺寸指标(Dimensional Metrics):Micrometer 为计时器、仪表、计数器、分布摘要和长任务计时器提供了与供应商无关的接口,具有维度数据模型,当与维度监控系统配对时,允许有效访问特定命名的度量,并具有向下钻取的能力跨越其维度。
  • 预配置绑定(Pre-configured Bindings):开箱即用的缓存、类加载器、垃圾收集、处理器利用率、线程池等工具,更适合可操作的洞察力。
  • Spring集成(Integrated into Spring):Micrometer 是一个检测库,支持从 Spring Boot 应用程序交付应用程序指标。

  Micrometer支持的监控系统:

AppOptics, Azure Monitor, Netflix Atlas, CloudWatch, Datadog, Dynatrace, Elastic, Ganglia, Graphite, Humio, Influx/Telegraf, JMX, KairosDB, New Relic, Prometheus, SignalFx, Google Stackdriver, StatsD, and Wavefront.

  上文中我们说明了如何搭建Spring Boot Admin的微服务健康检查监控系统,简单的应用使用Spring Boot Admin即可,复杂的集群应用建议使用Micrometer 支持的多种灵活可配的监控系统,这里我们选择目前使用比较广泛的Prometheus+Grafana监控系统。

  两种方式都能够实现微服务的健康检查统计展示和告警,Prometheus+Grafana在功能和界面美观上更强大一些,并且可以查看历史数据,而SpringBootAdmin优点是部署十分简单,不需要部署太多的环境软件,本身就是一个微服务。在两种方式的选择上,如果是小的项目,比如单体应用,双击热备,前期可以先使用SpringBootAdmin,随着业务的发展,可以考虑使用Prometheus+Grafana。

一、Prometheus+Grafana相关介绍

1、Prometheus介绍

Prometheus: 是一款开源的系统和服务监控系统,属于云原生计算基金会项目。它可以通过设置的时间间隔从配置的目标系统采集指标数据,保存指标数据(时序数据库),评估规则表达式,显示结果,并在检测到指定条件时触发警报。

  • 多维数据模型:Prometheus 实现了一个高维数据模型,它从根本上将所有数据存储为时间序列:属于同一指标和同一组标记维度的时间戳值。 除了存储的时间序列,Prometheus 可能会生成临时派生的时间序列作为查询的结果。
  • 高效存储:Prometheus 以高效的自定义格式将时间序列存储在内存和本地磁盘上(内置TSDB数据库,同时也提供了远程存储接口),扩展是通过功能分片和联合来实现的。
  • PromQL:一种强大且灵活的查询语言,PromQL 允许对收集的时间序列数据进行切片和切块,以生成临时图形、表格和警报。
  • 不依赖分布式存储,操作简单:每台服务器的可靠性都是独立的,仅依赖于本地存储。用 Go 编写,所有二进制文件都是静态链接的,易于部署。
  • HTTP拉取模型: 通过抓取HTTP端点采集时序数据。
  • 通过用于批处理作业的中间网关支持推送时间序列数据。
  • 通过服务发现或静态配置发现目标。
  • 出色的可视化:Prometheus 有多种数据可视化模式,内置表达式浏览器、Grafana 集成和控制台模板语言。
  • 支持分层和水平联合。
2、Grafana介绍

虽然Prometheus也支持可视化界面展示,但是界面不美观,更多人选择使用Grafana来展示Prometheus的监控数据。

Grafana:Grafana是一款开源的数据可视化工具。它提供对数据指标的查询、可视化和告警,它可以实现无论数据存储在哪里,都可以与您的团队创建、探索和共享十分美观的仪表盘数据可视化,并培养数据驱动的文化。

  • 可视化:具有多种选项的快速灵活的客户端图表。面板插件提供了许多不同的方式来可视化指标和日志。
  • 动态仪表板:使用在仪表板顶部显示为下拉列表的模板变量创建动态和可重复使用的仪表板。
  • 探索指标:通过即席查询(是用户根据自己的需求,灵活的选择查询条件,系统能够根据用户的选择生成相应的统计报表)和动态钻取探索您的数据。拆分视图并并排比较不同的时间范围、查询和数据源。
  • 探索日志:体验从指标切换到带有保留标签过滤器的日志的魔力。快速搜索所有日志或实时流式传输它们。
  • 告警:为您最重要的指标直观地定义告警规则。Grafana 将持续评估并向 Slack、PagerDuty、VictorOps、OpsGenie 等系统发送通知。
  • 混合数据源:在同一个图中混合不同的数据源!您可以基于每个查询指定数据源。这甚至适用于自定义数据源。

二、使用Docker安装配置Prometheus+Grafana

  我们使用Docker来安装需要的Prometheus+Grafana,通常情况下,我们会根据业务需求来安装需要的组件,在这里健康监控系统也是这样,如果我们的微服务部署在Docker容器中,那么我们需要安装cAdvisor组件来监控Docker相关数据指标,如果要采集系统环境数据,那么需要安装 Node Exporter 组件,而且告警组件也是和Prometheus分开的,如果需要告警功能,同样需要安装Alertmanager组件,这一连串组件的组合,自然让我们想到使用docker-compose来安装我们需要所有组件。

   参考 https://github.com/stefanprodan/dockprom 我们编写两个docker-compose文件:

  • 服务端:数据采集、展示、告警,安装 prometheus、grafana、cadvisor、alertmanager、node-exporter、caddy
  • 客户端: 只需安装 cadvisor、node-exporter用于采集本机数据。
1、准备Docker宿主主机的安装部署目录。
  1. # 创建prometheus挂在目录
  2. mkdir /data/monitor/prometheus
  3. cd /data/monitor/prometheus
  4. touch prometheus.yml
  5. mkdir /data/monitor/prometheus_data
  6. # 创建alertmanager挂在目录
  7. mkdir -p /data/monitor/alertmanager
  8. # 创建grafana挂在目录
  9. mkdir -p /data/monitor/grafana_data
  10. mkdir -p /data/monitor/grafana/provisioning/dashboards
  11. mkdir -p /data/monitor/grafana/provisioning/datasources
2、编写docker-compose-prometheus-server.yml,此处为服务编排模板参考,因某些原因docker镜像仓库无法访问,需切换到能够访问到的镜像仓库。
  • docker-compose-prometheus-server.yml
  1. version: '3.2'
  2. networks:
  3. monitor-net:
  4. driver: bridge
  5. volumes:
  6. prometheus_data: {}
  7. grafana_data: {}
  8. services:
  9. prometheus:
  10. image: prom/prometheus:latest
  11. container_name: prometheus
  12. volumes:
  13. - /data/monitor/prometheus:/etc/prometheus
  14. - /data/monitor/prometheus_data:/prometheus
  15. command:
  16. - '--config.file=/etc/prometheus/prometheus.yml'
  17. - '--storage.tsdb.path=/prometheus'
  18. - '--web.console.libraries=/etc/prometheus/console_libraries'
  19. - '--web.console.templates=/etc/prometheus/consoles'
  20. - '--storage.tsdb.retention.time=200h'
  21. - '--web.enable-lifecycle'
  22. restart: unless-stopped
  23. expose:
  24. - 9090
  25. networks:
  26. - monitor-net
  27. labels:
  28. org.label-schema.group: "monitoring"
  29. alertmanager:
  30. image: prom/alertmanager:latest
  31. container_name: alertmanager
  32. volumes:
  33. - /data/monitor/alertmanager:/etc/alertmanager
  34. command:
  35. - '--config.file=/etc/alertmanager/config.yml'
  36. - '--storage.path=/alertmanager'
  37. restart: unless-stopped
  38. expose:
  39. - 9093
  40. networks:
  41. - monitor-net
  42. labels:
  43. org.label-schema.group: "monitoring"
  44. nodeexporter:
  45. image: prom/node-exporter:latest
  46. container_name: nodeexporter
  47. volumes:
  48. - /proc:/host/proc:ro
  49. - /sys:/host/sys:ro
  50. - /:/rootfs:ro
  51. command:
  52. - '--path.procfs=/host/proc'
  53. - '--path.rootfs=/rootfs'
  54. - '--path.sysfs=/host/sys'
  55. - '--collector.filesystem.mount-points-exclude=^/(sys|proc|dev|host|etc)($$|/)'
  56. restart: unless-stopped
  57. expose:
  58. - 9100
  59. networks:
  60. - monitor-net
  61. labels:
  62. org.label-schema.group: "monitoring"
  63. cadvisor:
  64. image: gcr.io/cadvisor/cadvisor:latest
  65. container_name: cadvisor
  66. privileged: true
  67. devices:
  68. - /dev/kmsg:/dev/kmsg
  69. volumes:
  70. - /:/rootfs:ro
  71. - /var/run:/var/run:ro
  72. - /sys:/sys:ro
  73. - /var/lib/docker:/var/lib/docker:ro
  74. #- /cgroup:/cgroup:ro #doesn't work on MacOS only for Linux
  75. restart: unless-stopped
  76. expose:
  77. - 8080
  78. networks:
  79. - monitor-net
  80. labels:
  81. org.label-schema.group: "monitoring"
  82. grafana:
  83. image: grafana/grafana:latest
  84. container_name: grafana
  85. volumes:
  86. - /data/monitor/grafana_data:/var/lib/grafana
  87. - /data/monitor/grafana/provisioning/dashboards:/etc/grafana/provisioning/dashboards
  88. - /data/monitor/grafana/provisioning/datasources:/etc/grafana/provisioning/datasources
  89. environment:
  90. - GF_SECURITY_ADMIN_USER=${ADMIN_USER:-admin}
  91. - GF_SECURITY_ADMIN_PASSWORD=${ADMIN_PASSWORD:-admin}
  92. - GF_USERS_ALLOW_SIGN_UP=false
  93. restart: unless-stopped
  94. expose:
  95. - 3000
  96. networks:
  97. - monitor-net
  98. labels:
  99. org.label-schema.group: "monitoring"
  100. pushgateway:
  101. image: prom/pushgateway:latest
  102. container_name: pushgateway
  103. restart: unless-stopped
  104. expose:
  105. - 9091
  106. networks:
  107. - monitor-net
  108. labels:
  109. org.label-schema.group: "monitoring"
  110. caddy:
  111. image: caddy:latest
  112. container_name: caddy
  113. ports:
  114. - "3000:3000"
  115. - "9090:9090"
  116. - "9093:9093"
  117. - "9091:9091"
  118. volumes:
  119. - ./caddy:/etc/caddy
  120. environment:
  121. - ADMIN_USER=${ADMIN_USER:-admin}
  122. - ADMIN_PASSWORD=${ADMIN_PASSWORD:-admin}
  123. - ADMIN_PASSWORD_HASH=${ADMIN_PASSWORD_HASH:-JDJhJDE0JE91S1FrN0Z0VEsyWmhrQVpON1VzdHVLSDkyWHdsN0xNbEZYdnNIZm1pb2d1blg4Y09mL0ZP}
  124. restart: unless-stopped
  125. networks:
  126. - monitor-net
  127. labels:
  128. org.label-schema.group: "monitoring"

在服务端安装执行安装命令:

  1. docker-compose -f docker-compose-prometheus-server.yml up -d

执行会报错,因无法访问部分docker镜像库:Error response from daemon: Get "https://gcr.io/v2/": net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers),请自行设置将docker切换到能够访问的云服务器。

3、编写docker-compose-prometheus-client.yml,此处为服务编排模板参考,因某些原因docker镜像仓库无法访问,需切换到能够访问到的镜像仓库。
  1. version: '3.2'
  2. services:
  3. nodeexporter:
  4. image: prom/node-exporter:latest
  5. container_name: nodeexporter
  6. volumes:
  7. - /proc:/host/proc:ro
  8. - /sys:/host/sys:ro
  9. - /:/rootfs:ro
  10. command:
  11. - '--path.procfs=/host/proc'
  12. - '--path.rootfs=/rootfs'
  13. - '--path.sysfs=/host/sys'
  14. - '--collector.filesystem.mount-points-exclude=^/(sys|proc|dev|host|etc)($$|/)'
  15. restart: unless-stopped
  16. network_mode: host
  17. labels:
  18. org.label-schema.group: "monitoring"
  19. cadvisor:
  20. image: gcr.io/cadvisor/cadvisor:latest
  21. container_name: cadvisor
  22. privileged: true
  23. devices:
  24. - /dev/kmsg:/dev/kmsg
  25. volumes:
  26. - /:/rootfs:ro
  27. - /var/run:/var/run:ro
  28. - /sys:/sys:ro
  29. - /var/lib/docker/:/var/lib/docker:ro
  30. - /cgroup:/cgroup:ro
  31. restart: unless-stopped
  32. network_mode: host
  33. labels:
  34. org.label-schema.group: "monitoring"

在服务端安装执行安装命令:

  1. docker-compose -f docker-compose-prometheus-server.yml up -d

同在服务端执行一样,这里执行会报错,请自行切换可以访问到的镜像仓库。

4、以上为生产环境所需的安装方式配置参考,下面我们使用Docker进行最小安装,来测试运行Prometheus+Grafana。
  • 执行安装Prometheus
  1. docker run -d \
  2. --restart=always \
  3. -u root \
  4. --name prometheus \
  5. -p 9090:9090 \
  6. -v /etc/localtime:/etc/localtime \
  7. -v /data/monitor/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml \
  8. -v /data/monitor/prometheus_data:/prometheus \
  9. prom/prometheus
  • 执行安装Grafana
  1. docker run -d \
  2. --restart=always \
  3. -u root \
  4. --name grafana \
  5. -p 3000:3000 \
  6. -v /data/grafana_data:/var/lib/grafana \
  7. -v /data/grafana/provisioning/dashboards:/etc/grafana/provisioning/dashboards \
  8. -v /data/grafana/provisioning/datasources:/etc/grafana/provisioning/datasources \
  9. -e GF_SECURITY_ADMIN_USER=${ADMIN_USER:-admin} \
  10. -e GF_SECURITY_ADMIN_PASSWORD=${ADMIN_PASSWORD:-admin} \
  11. -e GF_USERS_ALLOW_SIGN_UP=false \
  12. grafana/grafana
5、安装成功后访问链接查看是否成功

三、微服务相关配置及添加Prometheus支持

1、在gitegg-platform-bom工程中引入micrometer的prometheus依赖包。

请注意,在选择micrometer-registry-prometheus版本时,一定要和框架中SpringBoot引入的micrometer相匹配的版本,否则不兼容。

  1. ......
  2. <!-- prometheus 微服务监控 spring-boot-admin二选一-->
  3. <micrometer.registry.prometheus.version>1.5.14</micrometer.registry.prometheus.version>
  4. ......
  5. <!-- actuator prometheus 健康检查https://mvnrepository.com/artifact/io.micrometer/micrometer-registry-prometheus -->
  6. <dependency>
  7. <groupId>io.micrometer</groupId>
  8. <artifactId>micrometer-registry-prometheus</artifactId>
  9. <version>${micrometer.registry.prometheus.version}</version>
  10. </dependency>
  11. ......
2、gitegg-cloud工程的父pom.xml统一引入prometheus依赖包,这样,我们就可以统一灵活切换使用的监控系统。
  1. <!-- 如果使用prometheus进行健康检查,这里统一引入依赖。如果使用SpringBootAdmin,这里注释掉。-->
  2. <dependency>
  3. <groupId>io.micrometer</groupId>
  4. <artifactId>micrometer-registry-prometheus</artifactId>
  5. </dependency>
3、修改Nacos,开启prometheus抓取端点。

metrics.tags.application: ${spring.application.name} 设置tag方便Prometheus抓取数据时区分不同的服务。

  1. # 性能监控端点配置
  2. management:
  3. security:
  4. enabled: true
  5. role: ACTUATOR_ADMIN
  6. endpoint:
  7. health:
  8. show-details: always
  9. endpoints:
  10. enabled-by-default: true
  11. web:
  12. base-path: /actuator
  13. exposure:
  14. include: '*'
  15. metrics:
  16. tags:
  17. application: ${spring.application.name}
  18. export:
  19. prometheus:
  20. enabled: true
  21. server:
  22. servlet:
  23. context-path: /actuator
  24. health:
  25. mail:
  26. enabled: false
4、查看启动结果 http://127.0.0.1:8002/actuator/prometheus

四、配置Prometheus+Grafana采集并展示微服务健康监控数据

1、编辑prometheus配置文件prometheus.yml,设置采集微服务端点
  1. scrape_configs:
  2. - job_name: 'actuator-gitegg'
  3. basic_auth:
  4. username: user
  5. password: password
  6. scrape_interval: 15s
  7. scrape_timeout: 10s
  8. metrics_path: '/actuator/prometheus'
  9. static_configs:
  10. - targets: ['192.168.0.2:80','192.168.0.2:8002']
  • basic_auth:设置采集端点的basic认证信息
  • metrics_path:设置prometheus采集端点的路径
  • static_configs.targets: 设置prometheus采集端点的地址
2、重启prometheus,访问界面status -> targets,查看采集端点状态。

3、配置Grafana,添加prometheus数据源并展示JVM监控图表。



  • Import 仪表盘,Grafana提供了很多内置的仪表盘模板,官方模板地址:https://grafana.com/grafana/dashboards , 我们这里选择使用JVM (Micrometer)模板,输入模板的地址https://grafana.com/grafana/dashboards/4701或者模板的编号4701,然后点击Load进行加载。



  • 执行import后就可以看到我们导入的仪表盘模板了,点击右上角的Save进行保存。

  通过以上步骤已经能够搭建和配置简单的Actuator(Micrometer)+ Prometheus + Grafana 微服务健康监控系统,查看Prometheus / Grafana 官方文档,我们可以知道其提供的功能非常丰富,在实际使用过程中,我们需要根据自己的业务需求进行更细维度的部署和配置。

  服务健康监控系统是保障我们系统服务正常运行的必要工具,配置部署非常方便,但是,我们生产环境一定要注意系统安全问题,不要把健康检查的端点暴露出去,该做鉴权的做鉴权,该做安全防护的做安全防护,不要因为方便健康监控而增加安全风险。

源码地址:

Gitee: https://gitee.com/wmz1930/GitEgg

GitHub: https://github.com/wmz1930/GitEgg

SpringCloud微服务实战——搭建企业级开发框架(四十五):【微服务监控告警实现方式二】使用Actuator(Micrometer)+Prometheus+Grafana实现完整的微服务监控的更多相关文章

  1. SpringCloud微服务实战——搭建企业级开发框架(十五):集成Sentinel高可用流量管理框架【熔断降级】

      Sentinel除了流量控制以外,对调用链路中不稳定的资源进行熔断降级也是保障高可用的重要措施之一.由于调用关系的复杂性,如果调用链路中的某个资源不稳定,最终会导致请求发生堆积.Sentinel ...

  2. SpringCloud微服务实战——搭建企业级开发框架(十四):集成Sentinel高可用流量管理框架【限流】

      Sentinel 是面向分布式服务架构的高可用流量防护组件,主要以流量为切入点,从限流.流量整形.熔断降级.系统负载保护.热点防护等多个维度来帮助开发者保障微服务的稳定性. Sentinel 具有 ...

  3. SpringCloud微服务实战——搭建企业级开发框架(十):使用Nacos分布式配置中心

    随着业务的发展.微服务架构的升级,服务的数量.程序的配置日益增多(各种微服务.各种服务器地址.各种参数),传统的配置文件方式和数据库的方式已无法满足开发人员对配置管理的要求: 安全性:配置跟随源代码保 ...

  4. SpringCloud微服务实战——搭建企业级开发框架(十二):OpenFeign+Ribbon实现负载均衡

      Ribbon是Netflix下的负载均衡项目,它主要实现中间层应用程序的负载均衡.为Ribbon配置服务提供者地址列表后,Ribbon就会基于某种负载均衡算法,自动帮助服务调用者去请求.Ribbo ...

  5. SpringCloud微服务实战——搭建企业级开发框架(十六):集成Sentinel高可用流量管理框架【自定义返回消息】

    Sentinel限流之后,默认的响应消息为Blocked by Sentinel (flow limiting),对于系统整体功能提示来说并不统一,参考我们前面设置的统一响应及异常处理方式,返回相同的 ...

  6. SpringCloud微服务实战——搭建企业级开发框架(十九):Gateway使用knife4j聚合微服务文档

      本章介绍Spring Cloud Gateway网关如何集成knife4j,通过网关聚合所有的Swagger微服务文档 1.gitegg-gateway中引入knife4j依赖,如果没有后端代码编 ...

  7. SpringCloud微服务实战——搭建企业级开发框架(三十四):SpringCloud + Docker + k8s实现微服务集群打包部署-Maven打包配置

      SpringCloud微服务包含多个SpringBoot可运行的应用程序,在单应用程序下,版本发布时的打包部署还相对简单,当有多个应用程序的微服务发布部署时,原先的单应用程序部署方式就会显得复杂且 ...

  8. SpringCloud微服务实战——搭建企业级开发框架(四十四):【微服务监控告警实现方式一】使用Actuator + Spring Boot Admin实现简单的微服务监控告警系统

      业务系统正常运行的稳定性十分重要,作为SpringBoot的四大核心之一,Actuator让你时刻探知SpringBoot服务运行状态信息,是保障系统正常运行必不可少的组件.   spring-b ...

  9. SpringCloud微服务实战——搭建企业级开发框架(二):环境准备

    这里简单说明一下在Windows系统下开发SpringCloud项目所需要的的基本环境,这里只说明开发过程中基础必须的软件,其他扩展功能(Docker,k8s,MinIO,XXL-JOB,EKL,Ke ...

随机推荐

  1. drools的类型声明(Type declarations)

    一.背景 在我们编写drl规则的时候,有些时候需要自己声明一些类,用于辅助之后的规则运行,如果需要用到的类还需要在java中预先声明出来,这样就不灵活了,那么是否可以在drl文件中声明一个类呢?可以使 ...

  2. 前端5jQuery

    内容概要 jQuery简介 查找标签 jQuery操作标签 jQuery事件操作 jQuery动画效果(了解) 前端第三方框架(基础) 内容详情 jQuery简介

  3. SQL Server之自动创建视图

    本方法只适合特定模式的视图创建. 比如,创建需要整张表列名的视图,或者当表和需要的列名统计在一张数据表当中,如图所示: 首先要先获取要创建视图所需要的表,这里我获取的是整个数据库中的表, IF OBJ ...

  4. Win10 pycharm中显示PyTorch tensorboard图

    import numpy import numpy as np import torch import matplotlib.pyplot as plt import torch.nn as nn i ...

  5. npm版本兼容导致的npm ERR! ERESOLVE unable to resolve dependency tree

    当团队项目中,团队成员的npm包管理工具版本不一致时执行npm install报错: npm -v查看版本信息:7.x与6.x之间的兼容问题 解决方案: 一:升级或降级npm版本,保持一致npm in ...

  6. 腾讯云数据库TDSQL-大咖论道 | 基础软件的过去、现在、未来

    近十年来,中国基础软件发展势头迅猛,市场前景看高,越来越多的企业也正在进行基础软件升级.那中国基础软件行业目前在国际市场上有什么优势,面临哪些困境,以及未来基础软件行业会如何发展呢?腾讯云数据库邀请沙 ...

  7. 开发工具-Visual Studio / Visual Studio Code 官方下载地址

    更新记录 2022年6月10日 完善标题. Visual Studio官方下载地址 https://visualstudio.microsoft.com/ Visual Studio Code官方下载 ...

  8. ffmpeg使用总结

    2021-07-21 初稿 截图 ffmpeg -i <video> -ss <time> -vframes 1 <output_pic> 设置视频封面 ffmpe ...

  9. BUUCTF-来首歌吧

    来首歌吧 歌曲题目一般就是整个摩斯电码 看上面的样子应该就是摩斯电码解密一下 ..... -... -.-. ----. ..--- ..... -.... ....- ----. -.-. -... ...

  10. 使用aggregation API扩展你的kubernetes API

    Overview What is Kubernetes aggregation Kubernetes apiserver aggregation AA 是Kubernetes提供的一种扩展API的方法 ...