概述

The Agent is started by init.d at start-up. It, in turn, contacts the Cloudera Manager Server and determines which processes should be running. The Agent is monitored as part of Cloudera Manager's host monitoring. If the Agent stops heartbeating, the host is marked as having bad health.

One of the Agent's main responsibilities is to start and stop processes. When the Agent detects a new process from the Server heartbeat, the Agent creates a directory for it in /var/run/cloudera-scm-agent and unpacks the configuration. It then contacts supervisord, which starts the process.

1 生成配置文件目录

[25/May/2019 16:16:36 +0000] 27716 MainThread agent        INFO     Created /opt/cloudera-manager/cm-5.16.1/run/cloudera
-scm-agent/process/333-kudu-KUDU_TSERVER
[25/May/2019 16:16:36 +0000] 27716 MainThread agent INFO Chowning /opt/cloudera-manager/cm-5.16.1/run/clouder
a-scm-agent/process/333-kudu-KUDU_TSERVER to kudu (982) kudu (978)
[25/May/2019 16:16:36 +0000] 27716 MainThread agent INFO Chmod'ing /opt/cloudera-manager/cm-5.16.1/run/cloude
ra-scm-agent/process/333-kudu-KUDU_TSERVER to 0751
[25/May/2019 16:16:36 +0000] 27716 MainThread agent INFO Created /opt/cloudera-manager/cm-5.16.1/run/cloudera
-scm-agent/process/333-kudu-KUDU_TSERVER/logs
[25/May/2019 16:16:36 +0000] 27716 MainThread agent INFO Chowning /opt/cloudera-manager/cm-5.16.1/run/clouder
a-scm-agent/process/333-kudu-KUDU_TSERVER/logs to kudu (982) kudu (978)
[25/May/2019 16:16:36 +0000] 27716 MainThread agent INFO Chmod'ing /opt/cloudera-manager/cm-5.16.1/run/cloude
ra-scm-agent/process/333-kudu-KUDU_TSERVER/logs to 0751
[25/May/2019 16:16:36 +0000] 27716 MainThread process INFO [333-kudu-KUDU_TSERVER] Refreshing process files: No
ne
[25/May/2019 16:16:36 +0000] 27716 MainThread __init__ INFO Extracted 9 files and 0 dirs to /opt/cloudera-manage
r/cm-5.16.1/run/cloudera-scm-agent/process/333-kudu-KUDU_TSERVER.
[25/May/2019 16:16:36 +0000] 27716 MainThread process INFO reading limits: {u'limit_memlock': None, u'limit_fds
': None}
[25/May/2019 16:16:36 +0000] 27716 MainThread process INFO [333-kudu-KUDU_TSERVER] Launching process. one-off F
alse, command csd/csd.sh, args [u'tserver']

目录:

/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-agent/process/$index_component_config

配置目录中有proc.json文件包含进程的详细信息,包括启动命令和参数等;

python代码目录

/opt/cloudera-manager/cm-5.16.1/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.16.1-py2.7.egg/cmf/

agent.py
process.py

write_configuration

2 设置环境变量

CONF_DIR=/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-agent/process/341-hdfs-DATANODE
CMF_CONF_DIR=/opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent

/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/meta/cdh_env.sh

3 启动

/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/hadoop-hdfs/bin/hdfs --config /opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-agent/process/341-hdfs-DATANODE datanode

4 其他

agent uuid目录

/opt/cloudera-manager/cm-5.16.1/lib/cloudera-scm-agent/

参考:
https://www.cloudera.com/documentation/enterprise/5-6-x/topics/admin_cloudera_manager_agents.html

【原创】大叔经验分享(64)cloudera manager agent启动组件进程过程的更多相关文章

  1. 【原创】大叔经验分享(66)docker启动tomcat不输出catalina.out

    docker启动tomcat默认是: Run the default Tomcat server (CMD ["catalina.sh", "run"]): 查 ...

  2. 【原创】大叔经验分享(57)hue启动coordinator时报错

    hue启动coordinator时报错,页面返回undefinied错误框: 后台日志报错: runcpserver.log [13/May/2019 04:34:55 -0700] middlewa ...

  3. 【原创】大叔经验分享(89)docker启动openjdk执行jmap报错

    docker启动openjdk后,可以查看进程 # docker exec -it XXX jps 10 XXX.jar 可见启动的java进程id一直为10,然后可以执行jvm命令,比如 # doc ...

  4. 【原创】大叔经验分享(69)docker启动java应用的时区问题

    在docker中启动tomcat或java类应用,获取时间默认是UTC时间,这是因为容器内的locale没有设置为东8区,最简单的方式是增加JAVA_OPTS 如果是java,直接在java命令后增加 ...

  5. 安装Cloudera manager agent步骤详解

    安装Cloudera manager agent步骤详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要是针对:https://www.cnblogs.com/yinz ...

  6. 基于yum的方式安装Cloudera Manager Agent(使用Mysql 8.0版本)

    基于yum的方式安装Cloudera Manager Agent(使用Mysql 8.0版本) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.  一.选择CDH版本 1>.确认 ...

  7. 【原创】经验分享:一个小小emoji尽然牵扯出来这么多东西?

    前言 之前也分享过很多工作中踩坑的经验: 一个线上问题的思考:Eureka注册中心集群如何实现客户端请求负载及故障转移? [原创]经验分享:一个Content-Length引发的血案(almost.. ...

  8. 【原创】大叔经验分享(50)hue访问mysql(librdbms)

    cloudera manager安装hue后想开启访问mysql(librdbms)需要在这里配置(hue_safety_valve.ini) 添加配置如下 [librdbms] # The RDBM ...

  9. 【原创】大叔经验分享(37)CM清理磁盘空间

    定期清理cloudera manager server的磁盘空间 1 停止Service Monitor和Host Monitor 2 删除日志 # /bin/rm /var/lib/cloudera ...

随机推荐

  1. Python 文件writelines() 方法和处理双层列表

    概述 writelines() 方法用于向文件中写入一序列的字符串. 这一序列字符串可以是由迭代对象产生的,如一个字符串列表. 换行需要制定换行符 \n. 语法 writelines() 方法语法如下 ...

  2. PPT:很多文字如何排版?(PPT如何美化?)

    1.加入图标.形状(或者加入图片和色块搭配) 2.提取关键词作为标题(这个很重要) 下面看下示例: 这个是没修改前 修改后: 相信大家都会喜欢第二张吧 再看一个: 最近在学做PPT,有点上瘾了,哈哈哈 ...

  3. mapReduce的优化-combiner

    mr的合成器,本质上就是reduce,在map端执行,称之为map端reduce,或者预聚合. 例子: job.setCombinerClass(WordCountCombiner.class);

  4. [go]socket编程

    socket特性 总是成对出现 是全双工的(同时支持收发)(两个channel绑在一起) 应用程序 - cs模式(客户端开发) - bs模式(web开发) net包api基础 都是客户端主动发数据(c ...

  5. Pro JavaScript List.11-11

    //为实现各种现代浏览器的requestAnimationFrame()方法,创建一段简单的跨浏览器保障代码(polyfill),以实现流畅.高效的动画.由保罗•艾里什(Paul Irish)编写,网 ...

  6. java的JDBC驱动使用链接数据库

    1.    import java.sql.*; 2 .    导入所需要的数据库的jar包,如oracle/informix的 3. String sql = "select * from ...

  7. IDEA快捷键(修改成eclipse版)+Templates

    快捷键:使用快捷键需要下载改建的配置文件,默认eclipse版的按键还是不全的. 链接:https://pan.baidu.com/s/17H4tFh__k6rExGpAf8NRJg 密码:rnl3 ...

  8. 一百二十五:CMS系统之首页轮播实现

    把base模板分为左右两块版心 .main-container{ /*整体版心*/ width: 990px; margin: 0 auto; overflow: hidden;}.lg-contai ...

  9. jackson对Exception类型对象的序列化与反序列化

    发现问题 今天在调试系统错误通知的时候遇到了一个问题.我们在系统异常时候要通过队列系统发送各种通知到团队内部成员. 因此我写了一个通用接口.接口中有传递Exception对象到队列中,再由队列消费者解 ...

  10. C# CRC16 modbus

    using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.T ...