############################################ # producer config ############################################ #agent section producer.sources = s producer.channels = c c1 c2 producer.sinks = r h es #source section producer.sources.s.type =exec producer…

1.Flume在集群中扮演的角色 Flume.Kafka用来实时进行数据收集,Spark.Storm用来实时处理数据,impala用来实时查询. 2.Flume框架简介 1.1 Flume提供一个分布式的,可靠的,对大数据量的日志进行高效收集.聚集.移动的服务,Flume只能在Unix环境下运行. 1.2 Flume基于流式架构,容错性强,也很灵活简单,主要用于在线实时分析. 1.3 角色 ** Source 用于采集数据,Source是产生数据流的地方,同时Source会将产生的数据流传输到C…

最近一段时间,负责公司的产品日志埋点与收集工作,搭建了基于Flume+HDFS+Hive日志搜集系统. 一.日志搜集系统架构: 简单画了一下日志搜集系统的架构图,可以看出,flume承担了agent与collector角色,HDFS承担了数据持久化存储的角色. 作者搭建的服务器是个demo版,只用到了一个flume_collector,数据只存储在HDFS.当然高可用的日志搜集处理系统架构是需要多台flume collector做负载均衡与容错处理的. 二.日志产生: 1.log4j配置,每隔1…

#source的名字 agent.sources = kafkaSource # channels的名字,建议按照type来命名 agent.channels = memoryChannel # sink的名字,建议按照目标来命名 agent.sinks = hdfsSink # 指定source使用的channel名字 agent.sources.kafkaSource.channels = memoryChannel # 指定sink需要使用的channel的名字,注意这里是channel…

现象: 执行mapreduce任务时失败 通过hadoop fsck -openforwrite命令查看发现有文件没有关闭. [root@com ~]# hadoop fsck -openforwrite /data/rc/click/mpp/15-08-05/DEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it. Connecting to…

Flume的安装与配置 一.       资源下载 资源地址:http://flume.apache.org/download.html 程序地址:http://apache.fayea.com/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz 源码地址:http://mirrors.hust.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-src.tar.gz 二.       安装搭建 (1)编译好的包: 直接在安装…

1,项目图如下: 2, 实现过程 启动HDFS: sbin/start-dfs.sh 启动zookeeper(三台): bin/zkServer.sh start 启动kafka(三台): root@Ubuntu-:/usr/local/kafka# bin/kafka-server-start.sh config/server.properties >logs/kafka3.log >& 在131中创建access的topic: root@Ubuntu-:/usr/local/kaf…

使用QJM实现HDFS的HA配置 1.背景 hadoop 2.0.0之前,namenode存在单点故障问题(SPOF,single point of failure),如果主机或进程不可用时,整个集群就变得不可用,直到namenode进行重启或产生新的namenode.主要有两种方式会影响到HDFS集群: 不可预期事件比如机器宕机,集群变得不可用直到操作人员重启namenode. 可预期事件比如软硬件升级也会导致集群的下线. HDFS的高可用特性解决了以上两个问题,通过在一个集群中运行两个冗余的…

小丁带你走进git世界一-git简单配置 1.github的简单配置 配置提交代码的信息,例如是谁提交的代码之类的. git config  –global user.name BattleHeaert 这里是设置提交代码的人的名称 git config  –global user.email github@126.com 这里是设置提交代码的人的邮箱 查看当前的用户名 git  config  user.name 或者 git  config   –get  user.name 这时候会显示B…

文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/ 1.背景 以实际项目中的一个例子来详细讲解Nginx中的一般配置,其中涉及到部分正则表达式的内容.在这个实际例子中,我们要做的是使用Nginx为WebGIS中常用的离散瓦片做一个伺服器.关于Nginx的下载.与tomcat的组合配置.测试例子可以参考我的上一篇博客http://www.cnblogs.com/naaoveGIS/p/5478208.html. 2.Ngi…