1.关于DataNode 错误信息解析 错误内容 java.io.IOException: Incompatible clusterIDs -b89c-43f90751214b; datanode clusterID = CID-fe4d7495--4bc2-9f03-5bdade0be587 原因及处理方法 原因: 由于多次 format 导致, NameNode 节点 clusterID值与DataNode 节点clusterID 值不相等. 处理方法: . 修改 DataNode 节点的…

文章来自于:http://tianhailong.com/hadoop%E7%9F%A5%E8%AF%86%E6%95%B4%E7%90%86.html 按照what.how.why整理了下文章,帮助大家快速梳理下hadoop知识: what:Hadoop的作用: http://tianhailong.com/hadoop%E7%9A%84%E4%BD%9C%E7%94%A8.html hadoop到底能做什么?怎么用hadoop?: http://tianhailong.com/hadoop%…

为更好了解各种故障,可以修改数据块的大小和提升NameNode的日志级别 <property> <name>dfs.block.size</name> <value>4194304</value> </property> <property> <name>dfs.namenode.logging.level</name> <value>all</value> </pro…

之前写的关于MR的文章的前半部分已丢. 所以下面重点从3个部分来谈MR: 1)Job任务执行过程,以及主要进程-ResourceManager和NodeManager作用: 2)shuffle过程: 3)主要代码: 一.Job任务执行过程 这里是hadoop2.0-ResourceManager的Job的执行过程: 1)run job阶段,由提交Job客户端JVM完成,主要做job环境信息的收集,各个组件类,如Mapper.Reducer类,输出输入的K-V类型做检验是否合法,并且检验输入hdf…

本文转自:http://slaytanic.blog.51cto.com/2057708/1101360 name value Description hadoop.job.history.location   job历史文件保存路径,无可配置参数,也不用写在配置文件里,默认在logs的history文件夹下. hadoop.job.history.user.location   用户历史文件存放位置 io.sort.factor 30 这里处理流合并时的文件排序数,我理解为排序时打开的文件数…

参考文章##搭建 使用yum安装CDH Hadoop集群   http://blog.javachen.com/2013/04/06/install-cloudera-cdh-by-yum/   Hadoop文档-ubuntu上建立CDH+Impala集群 http://www.xingxingge.com/Hadoop/134.html  hadoop-CDH5.3 集群搭建(中国银行实战)  http://blog.csdn.net/korder/article/details/469092…

Auth: JinDate: 20140414 1.master-slave同步问题1)故障描述和错误代码:监控报警slave故障登录slave服务器查看mysql> show slave status\G发现有Errno详细的记录在另外电脑,电脑硬盘坏了,没有具体的报错了2)排查步骤:(1)查看错误日志tail -n 100 /var/log/mysql/mysql_7.error没有发现问题cat /mysql/data7/master.info 18mysql-bin.0001068470…

mysql> system mysqldump -uroot -p -B mingongge >/root/mingongge_bak.sql Enter password: mysqldump: Got error: 2002: Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2) when trying to connect 由于mysql默认的sock路径是'/var/lib/…

一.介绍 一个分布式协调服务框架: 一个精简的文件系统,每个节点大小最好不大于1MB: 众多hadoop组件依赖于此,比如hdfs,kafka,hbase,storm等: 旨在,分布式应用中,提供一个可靠的.可拓展的.分布式的.可配置的协调机制来管理整个集群的状态: 主要角色有:leader.follower.observer. 二.简单使用配置 安装很简单.一个tar包解压即可. 启动所需的配置文件为:zk安装目录/conf/zoo.cfg(需将安装包中原zoo_sample.cfg改名为zo…

前面2篇文章知道了HDFS的存储原理,知道了上传和下载文件的过程,同样也知晓了MR任务的执行过程,以及部分代码也已经看到,那么下一步就是程序员最关注的关于MR的业务代码(这里不说太简单的): 一.关于MapTask的排序 mapTask正常情况,按照key的hashcode进行从小到大的排序操作,形成map输出,交给reduce,(据某篇博文说,hashcode排序使用的是快排,这个无从考证),这里说明一下如何使用POJO类作为key,使其进行排序. 1)POJO类实现WritableCompa…