概述

The Agent is started by init.d at start-up. It, in turn, contacts the Cloudera Manager Server and determines which processes should be running. The Agent is monitored as part of Cloudera Manager's host monitoring. If the Agent stops heartbeating, the host is marked as having bad health.

One of the Agent's main responsibilities is to start and stop processes. When the Agent detects a new process from the Server heartbeat, the Agent creates a directory for it in /var/run/cloudera-scm-agent and unpacks the configuration. It then contacts supervisord, which starts the process.

1 生成配置文件目录

[25/May/2019 16:16:36 +0000] 27716 MainThread agent        INFO     Created /opt/cloudera-manager/cm-5.16.1/run/cloudera
-scm-agent/process/333-kudu-KUDU_TSERVER
[25/May/2019 16:16:36 +0000] 27716 MainThread agent INFO Chowning /opt/cloudera-manager/cm-5.16.1/run/clouder
a-scm-agent/process/333-kudu-KUDU_TSERVER to kudu (982) kudu (978)
[25/May/2019 16:16:36 +0000] 27716 MainThread agent INFO Chmod'ing /opt/cloudera-manager/cm-5.16.1/run/cloude
ra-scm-agent/process/333-kudu-KUDU_TSERVER to 0751
[25/May/2019 16:16:36 +0000] 27716 MainThread agent INFO Created /opt/cloudera-manager/cm-5.16.1/run/cloudera
-scm-agent/process/333-kudu-KUDU_TSERVER/logs
[25/May/2019 16:16:36 +0000] 27716 MainThread agent INFO Chowning /opt/cloudera-manager/cm-5.16.1/run/clouder
a-scm-agent/process/333-kudu-KUDU_TSERVER/logs to kudu (982) kudu (978)
[25/May/2019 16:16:36 +0000] 27716 MainThread agent INFO Chmod'ing /opt/cloudera-manager/cm-5.16.1/run/cloude
ra-scm-agent/process/333-kudu-KUDU_TSERVER/logs to 0751
[25/May/2019 16:16:36 +0000] 27716 MainThread process INFO [333-kudu-KUDU_TSERVER] Refreshing process files: No
ne
[25/May/2019 16:16:36 +0000] 27716 MainThread __init__ INFO Extracted 9 files and 0 dirs to /opt/cloudera-manage
r/cm-5.16.1/run/cloudera-scm-agent/process/333-kudu-KUDU_TSERVER.
[25/May/2019 16:16:36 +0000] 27716 MainThread process INFO reading limits: {u'limit_memlock': None, u'limit_fds
': None}
[25/May/2019 16:16:36 +0000] 27716 MainThread process INFO [333-kudu-KUDU_TSERVER] Launching process. one-off F
alse, command csd/csd.sh, args [u'tserver']

目录:

/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-agent/process/$index_component_config

配置目录中有proc.json文件包含进程的详细信息,包括启动命令和参数等;

python代码目录

/opt/cloudera-manager/cm-5.16.1/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.16.1-py2.7.egg/cmf/

agent.py
process.py

write_configuration

2 设置环境变量

CONF_DIR=/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-agent/process/341-hdfs-DATANODE
CMF_CONF_DIR=/opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent

/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/meta/cdh_env.sh

3 启动

/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/hadoop-hdfs/bin/hdfs --config /opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-agent/process/341-hdfs-DATANODE datanode

4 其他

agent uuid目录

/opt/cloudera-manager/cm-5.16.1/lib/cloudera-scm-agent/

参考:
https://www.cloudera.com/documentation/enterprise/5-6-x/topics/admin_cloudera_manager_agents.html

【原创】大叔经验分享(64)cloudera manager agent启动组件进程过程的更多相关文章

  1. 【原创】大叔经验分享(66)docker启动tomcat不输出catalina.out

    docker启动tomcat默认是: Run the default Tomcat server (CMD ["catalina.sh", "run"]): 查 ...

  2. 【原创】大叔经验分享(57)hue启动coordinator时报错

    hue启动coordinator时报错,页面返回undefinied错误框: 后台日志报错: runcpserver.log [13/May/2019 04:34:55 -0700] middlewa ...

  3. 【原创】大叔经验分享(89)docker启动openjdk执行jmap报错

    docker启动openjdk后,可以查看进程 # docker exec -it XXX jps 10 XXX.jar 可见启动的java进程id一直为10,然后可以执行jvm命令,比如 # doc ...

  4. 【原创】大叔经验分享(69)docker启动java应用的时区问题

    在docker中启动tomcat或java类应用,获取时间默认是UTC时间,这是因为容器内的locale没有设置为东8区,最简单的方式是增加JAVA_OPTS 如果是java,直接在java命令后增加 ...

  5. 安装Cloudera manager agent步骤详解

    安装Cloudera manager agent步骤详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要是针对:https://www.cnblogs.com/yinz ...

  6. 基于yum的方式安装Cloudera Manager Agent(使用Mysql 8.0版本)

    基于yum的方式安装Cloudera Manager Agent(使用Mysql 8.0版本) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.  一.选择CDH版本 1>.确认 ...

  7. 【原创】经验分享:一个小小emoji尽然牵扯出来这么多东西?

    前言 之前也分享过很多工作中踩坑的经验: 一个线上问题的思考:Eureka注册中心集群如何实现客户端请求负载及故障转移? [原创]经验分享:一个Content-Length引发的血案(almost.. ...

  8. 【原创】大叔经验分享(50)hue访问mysql(librdbms)

    cloudera manager安装hue后想开启访问mysql(librdbms)需要在这里配置(hue_safety_valve.ini) 添加配置如下 [librdbms] # The RDBM ...

  9. 【原创】大叔经验分享(37)CM清理磁盘空间

    定期清理cloudera manager server的磁盘空间 1 停止Service Monitor和Host Monitor 2 删除日志 # /bin/rm /var/lib/cloudera ...

随机推荐

  1. leetcode39 组合总和

    这道题想到的就是dfs,在累加的和大于或等于target时到达递归树的终点. 代码如下: class Solution { public: vector<vector<int>> ...

  2. nginx优化后的主配置文件

    user web web; #nginx的程序账户和程序组 worker_processes auto; #worker进程数 auto设为默认 error_log /app/logs/nginx/w ...

  3. 视图解析器InternalResourceViewResolver

    ModelAndView对象中即可以封装真实视图路径名,也可以封装视图路径的逻辑名,springmvc.xml 代码如下: <!-- 视图解析器(框架) --> <bean clas ...

  4. ObjectAnimator属性动画示例代码

    import android.animation.AnimatorSet; import android.animation.ObjectAnimator; import android.app.Ac ...

  5. iscsi序列一、搭建iscsi存储系统

    一.NAS和SAN服务器概述 SAS: 容量小, 300G, 600G, 900G, 价格贵. SATA:容量大,500G, 750G, 1T, 2T, 3T, 4T   不支持热插拔,价格低. 假S ...

  6. [转]SQL server 2008R2 中 C#Winfoirm 使用 SqlDependency 机制实现 数据库中某一张表的监视

    转自:https://blog.csdn.net/u012183487/article/details/77776930 System.Data.SqlClient命名空间下的 sqlDependen ...

  7. 手把手教你如何玩转Solr(包含项目实战)

    一:Solr简介       Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口.用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引 ...

  8. Hibernate三种状态:瞬时状态、持久化状态、离线状态

    三种状态及相互转化 瞬时状态(transient):刚new出来一个对象,还没有被保存到数据库中 持久化状态(persistent):已经被保存到数据库中或刚从数据库中取得 离线状态(detached ...

  9. 【JVM学习笔记】字节码文件结构实例

    上一篇笔记的内容大部分没有实际动手操作,因此决定完成这个完整的练习并记录下来. 另注,idea环境下有jclasslib插件用于更好的查看类似于javap结果的内容. 源代码如下: package c ...

  10. 测试ssh转发

    端口转发提供: 1.加密 SSH Client 端至 SSH Server 端之间的通讯数据. 2.突破防火墙的限制完成一些之前无法建立的 TCP 连接. 但是只能转发tcp连接,想要转发UDP,需要 ...