先停止 HDFS 角色. 数据文件位置默认在 /dfs/ 中,这里配置 NameNode.SecondaryNameNode.DataNode 数据目录. 先在所有 HDFS 的主机上把数据拷贝过去,然后再修改 CDH 上的配置. mkdir /cdh/dfs cp -af /dfs/* /cdh/dfs/ 再启动 HDFS 角色. # 执行 fsck 检查是否复制正确 hdfs fsck / https://blog.csdn.net/qq_35356840/article/details/9…

文章来自:http://www.cnblogs.com/hark0623/p/4177794.html 转载请注明 其实问题很简单,因为在CDH中hdfs-site.xml配置文件中WEB UI配置的是域名,而域名在Hosts又被解析成内网IP. 你使用netstat -apn | grep 50700看一下监听情况. 你会发现监听的是你的内网IP,而不是外网IP,所以HDFS的WEB UI就无法访问啦. 解决办法:如果你使用的是Apache Hadoop,那么需要去手动修改hdfs-site.…

服务器上的mysql默认数据目录为/var/lib/mysql/,同时服务器的/空间不是很大,而近期又有大量的日志需要导入进行分析,时常搞得/的空间捉襟见肘,晚上一狠心就想把mysql的数据目录转移到另外一块硬盘/data中. 于是关闭mysql服务: service mysqld stop 转移mysql数据目录 mv /var/lib/mysql/ /data/ 编辑my.cnf vi /etc/my.cnf 修改其中的datadir和socket到新的路径 [mysqld] datadir…

命令: sudo -u hdfs hdfs balancer 默认会检查每个datanode的磁盘使用情况,对磁盘使用超过整个集群10%的datanode移动block到其他datanode达到均衡作用. 指定阀值,该阀值是datanode节点的磁盘使用占整个集群的百分比. sudo -u hdfs hdfs balancer -threshold 5 #表示超过整个集群5%容量的节点进行均衡block 设置均衡的带宽,默认设置:1048576(1 M/S) 参数含义:设置balance工具在运…

1.停掉外部接入服务: 2 NameNode Metadata备份: 2.1 备份fsimage数据,(该操作适用HA和非HA的NameNode),使用如下命令进行备份: [root@cdh01 dfs]# mkdir nn_metadata_back [root@cdh01 dfs]# hdfs dfsadmin -fetchImage nn_metadata_back/ [root@cdh01 dfs]# ll nn_metadata_back 2.2 备份edits数据(该操作适用非HA的…

服务器上的mysql默认数据目录为/var/lib/mysql/,同时服务器的/空间不是很大,而近期又有大量的日志需要导入进行分析,时常搞得/的空间捉襟见肘,晚上一狠心就想把mysql的数据目录转移到另外一块硬盘/data中. 于是关闭mysql服务: service mysqld stop 转移mysql数据目录 mv /var/lib/mysql/ /data/ 编辑my.cnf vi /etc/my.cnf 修改其中的datadir和socket到新的路径 [mysqld] datadir…

配置单用户模式 在传统的Cloudera Manager部署中,管理每台主机上的Hadoop进程的Cloudera Manager Agent以root用户身份运行.但是,某些环境会限制对root帐户的访问. Cloudera Manager 5.3及更高版本提供单用户模式,满足此类环境的要求.在单用户模式下,Cloudera Manager Agent和由Cloudera Manager管理的服务运行的所有进程将作为单个已配置的用户和组启动.单用户模式优先考虑Hadoop与系统其余部分之间的隔…

公司平台的分布式文件系统基于Hadoop HDFS技术构建,为开发人员学习及后续项目中Hadoop HDFS相关操作提供技术参考特编写此文档.本文档描述了Linux单机环境下Hadoop HDFS伪分布式集群的安装步骤及基本操作,包括:Hadoop HDFS的安装.配置.基本操作等内容. 参考文档 <Hadoop: Setting up a Single Node Cluster.> http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dis…

1/ 作业有问题: 查log,没log再跑一次查log. 如果没有log的情况,比如hiveserver2挂了,查strr. 2/ 查集群名字 #看hdfs集群的名字,在cdh的hdfs配置中查:nameservice 3/ 添加角色 主机--角色,可以看各节点角色 添加,比如hdfs角色,可以选hdfs 选择要添加的角色和主机:…

原 Impala SQL 语言元素(翻译) 本文来源于http://my.oschina.net/weiqingbin/blog/189413#OSC_h2_2 摘要 http://www.cloudera.com/content/cloudera-content/cloudera-docs/Impala/latest/Installing-and-Using-Impala/ciiu_langref_sql.html 目录[-] Impala SQL 语言元素(Elements) ALTER T…