http://slaytanic.blog.51cto.com/2057708/1038676 Hadoop运维记录系列(一) Hadoop运维记录系列(二) Hadoop运维记录系列(三) Hadoop运维记录系列(四) Hadoop运维记录系列(五) Hadoop运维记录系列(六) Hadoop运维记录系列(七) Hadoop运维记录系列(八) Hadoop运维记录系列(九) Hadoop运维记录系列(十) Hadoop运维记录系列(十一) Hadoop配置项整理(mapred-site.x…

简单记录几个hdfs的运维命令 //查看hdfs的状态,是否有missing block,corrupt block等,也可以看datanode的状态 hdfs dfsadmin -report //查看hdfs根目录下是否有文件处于missing,currupt状态,而且不是under replica的 hadoop fsck / | egrep -v '^\.+$' | grep -v eplica //查看某个文件中,包含的block hadoop fsck /path/to/corrup…

1.自动化运维--cloudera manager 2.手动运维 a.启动./start.all.sh,停止./stop-all.sh b.hdfs启动/停止:./start-dfs.sh   ./stop-dfs.sh c.启动单个:./hadoop-daemon.sh start/stop namenode ./hadoop-daemon.sh start/stop datanode/secondarynamenode/nodemanager d.增加DataNode 1)修改slaves文…

0.优化:http://dongxicheng.org/mapreduce/hadoop-optimization-0/ http://dongxicheng.org/mapreduce/hadoop-optimization-1/ 1.各个节点的配置文件的内容要一致:core|hdfs|mapred|yarn-site.xml.修改一个的节点的配置文件内容后,集群中所有的节点要同步修改,报错的原因大部分是由于节点之间配置文件不一致导致! 2.修改完配置文件后要重启hdfs或yarn服务. 3.…

1.      处理hadoop的namenode宕机 处理措施: 进入hadoop的bin目录,重启namenode服务 操作命令: cd path/to/hadoop/bin ./hadoop-daemon.sh start namenode 2.      处理hadoop的jobtacker宕机 处理措施: 进入hadoop的bin目录,重启jobtacker服务 操作命令: cd path/to/hadoop/bin ./hadoop-daemon.sh start jobtracke…

Hadoop是一个能够对大量数据进行分布式处理的软件框架. Hadoop 以一种可靠.高效.可伸缩的方式进行数据处理适用人群有一定Java基础的学生或工作者课程简介 Hadoop是一个能够对大量数据进行分布式处理的软件框架. Hadoop 以一种可靠.高效.可伸缩的方式进行数据处理. Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理. Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度. Hadoop 还…

1.处理hadoop的namenode宕机 处理措施:进入hadoop的bin目录,重启namenode服务 操作命令:cd path/to/hadoop/bin ./hadoop-daemon.sh start namenode2.处理hadoop的jobtacker宕机 处理措施:进入hadoop的bin目录,重启jobtacker服务 操作命令:cd path/to/hadoop/bin ./hadoop-daemon.sh start jobtracker3. 处理hadoop的data…

一. 故障处理部分 1.1. spark提交任务报错java.lang.NoClassDefFoundError: com/alibaba/fastjson/JSON   报错原因: 在运行环境没有找到fastjson的依赖库 解决方法: 在SPARK_HOME/jars/ 添加fastjson-VERSION.jar包. 例如我的环境下SPARK_HOME是/usr/local/service/spark/. [hadoop@10 ~]$ ls $SPARK_HOME/jars/fast* /…

hadoop综合问题记录 1.hdfs无法启动 错误: 2018-04-25 14:36:09,293 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://master:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. safemode: Call…

1:hdfs dfsadmin -report //查看集群运行状态…