参考 flume的http监控参数说明 普通的flume启动命令 bin/flume-ng agent -c conf -f conf/flume-conf.properties -n agent -Dflume.root.logger=INFO,console 日志信息在终端输出,只有去掉这个参数,日志才能在log4j和logback中输出 -Dflume.root.logger=INFO,console 如果要加上http监控的话 bin/flume-ng agent -c conf -f…

一. 监控端口数据 首先启动Flume任务,监控本机44444端口,服务端: 然后通过netcat工具向本机44444端口发送消息,客户端: 最后Flume将监听的数据实时显示在控制台. 1. 安装netcat sudo yum install -y nc 功能描述:netstat命令是一个监控TCP/IP网络的非常有用的工具,它可以显示路由表.实际的网络连接以及每一个网络接口设备的状态信息. 基本语法:netstat [选项] 选项参数: -t或--tcp:显示TCP传输协议的连线状况: -u…

目标:Flume实时监控目录sink到hdfs,再用sparkStreaming监控hdfs的这个目录,对数据进行计算 1.flume的配置,配置spoolDirSource_hdfsSink.properties,监控本地的一个目录,上传到hdfs一个目录下. agent1.channels = ch1agent1.sources = spoolDir-source1agent1.sinks = hdfs-sink1 # 定义channelagent1.channels.ch1.type =…

Sar –u 检查CPU的繁忙程度列说明Usr用户模式下cpu运行所占的百分比Sys系统模式下cpu运行所占的百分比Wio因为有进程等待块I/O而使cpu处于闲置状态所占百分比IdleCpu为闲置状态所占百分比 sar –u 10 8 第一个数字展示二次相邻的sar读取之间隔了多少秒,第二数字是打算好了让sar运行的次数. 较低的idel时间可能说明有些进程正消耗大量的cpu时间,或是说明cpu的处理能力不足.请使用ps或是top命令去找出cpu密集型的作业吧 写得很差,需要大量磁盘访问的查询,…

1.2.2 采集案例 1.采集目录到HDFS 需求分析 结构示意图: 采集需求:某服务器的某特定目录下,会不断产生新的文件,每当有新文件出现,就需要把文件采集到HDFS中去 根据需求,首先定义以下3大要素 l  数据源组件,即source ——监控文件目录 :  spooldir spooldir特性: 1.监视一个目录,只要目录中出现新文件,就会采集文件中的内容 2.采集完成的文件,会被agent自动添加一个后缀:COMPLETED 3.所监视的目录中不允许重复出现相同文件名的文件 l  下沉…

1. item  key的添加 key可以带参数,该参数为一个数组列表,可以同时传递多个参数,key的格式如下 key -- [ parameters] -- 例如: vfs.fs.size[/] vfs.fs.size[/opt] key的可接参数分为引号字符串.非引号字符串和数组 quoted string \ unquoted string \ array 2. 引号字符串参数 如果参数是引号字符串,其中可以为任意字符串,如果存在双引号,必须用反斜杠 进行转义 3. 非引号字符串参数 除逗…

简述 使用 Flume 实时收集日志的过程中,尽管有事务机制保证数据不丢失,但仍然需要时刻关注 Source.Channel.Sink 之间的消息传输是否正常. 比如,SouceChannel 传输了多少消息,ChannelSink 又传输了多少,两处的消息量是否偏差过大等等. Flume 为我们提供了 Monitor 的机制:http://flume.apache.org/FlumeUserGuide.html#monitoring 通过Reporting 的方式,把过程中的Counter都打…

工作中查看Zabbix linux 监控项的时候对linux 监控的cpu使用的各个参数没怎么明白,特意查看了下资料 Zabbix linux模板下的CPU utilization是自带的监控Linux CPU各个参数的监控项,其实就是Linux下top命令显示的cpu信息. Zabbix下的监控信息,有时候直观的看图会一脸懵逼,各个值分别是什么意思呢? 官方解释,Cpu(s)表示的是cpu信息. us: user cpu time (or) % CPU time spent in user s…

1)主机健康监控:网络通信.软硬件错误.磁盘空间.内存使用 2)mysql健康监控: 服务端口(telnet尝试连接).mysqld和mysqld_safe进程.errorlog和复制状态 3)主机性能监控:系统load值.cpu使用率. 磁盘IO量(vmstat+iostat),iops,每秒吞吐量 iostat rMB/s+wMB/s吞吐量很低 util很高表示随机IO很重 r/s+w/s代表iops swap进出量(free获取系统总swap情况和vmstat实时获取swap).网络流量…

转自:https://blog.csdn.net/txj236/article/details/38872855 在对系统监控的过程中,发现ClientConnected和ClientBeginRequest之间有超过10秒的间隔时间的情况发生. 例如: ClientConnected:  09:50:31.066ClientBeginRequest: 09:50:41.113 查了http://fiddler.wikidot.com/timers,看到了对这种现象的说明 ClientConne…