CDH集群的配置优化须知

【CDH集群的配置优化须知】的更多相关文章

CDH集群的配置优化须知

通过改善IFile阅读器的性能 IFile Reader,进而可改善随机处理程序并减少储备空间,达到MapReduce的配置最佳实践要求.而MapReduce shuffle的处理程序和IFile阅读器的使用通常调用本机Linux的Hadoop本机库. 首先改善IFile阅读器的性能要求启用IFile预读可提高合并操作的性能.要为MRv1或YARN启用此功能,请设置mapreduce.ifile.readahead 为 true(默认). 要进一步调整性能,请调整值mapreduc…

CDH集群安装配置（七）--CDH组件的安装和配置

1. Clouder Manger页面的配置访问主节点IP:(cdh1)192.168.80.81:7180 默认用户名和密码:admin,admin 选择一个版本选择集群的服务器(agent),一般全部包含进去进入parcel的选择页面,选择和server相对应的版本. 下面页面进行资源配置,之前我下载过了,但是我进到这一步的时候理论上应该是已下载的页面,但是始终没有到达这个效果,每次都从clouder网站中下载.(如果有高手遇到过类似的问题,还请指教.)假如真的识别不到自己下载的par…

CDH集群安装配置（三）- 集群时间同步（主节点）和免密码登录

集群时间同步(主节点) 1. 查看是否安装ntp服务,如果没有安装 rpm -qa |grep ntpd查看命令 yum install ntp安装命令 2. 修改配置 vi /etc/ntp.conf 去掉这个注释,将地址改成网段地址 restrict 10.228.86.252 mask 255.255.255.0 nomodify notrap 注释掉这几个 #server .centos.pool.ntp.org iburst #server .centos.pool.ntp.org i…

zookeeper集群管理配置优化总结

1:默认jvm没有配置Xmx.Xms等信息,可以在conf目录下创建java.env文件 export JVMFLAGS="-Xms512m -Xmx512m $JVMFLAGS" 2:log4j配置,由于zk是通过nohup启动的,会有一个zookeeper.out日志文件,该文件中记录的是输出到console的日志.log4j中只要配置输出到console即可,zookeeper.out日积月累会不断变大,要放在容量大的磁盘上. zookeeper.root.logger=INFO…

CDH集群安装配置（五）- Cloudera Manager Server

在线安装 sudo yum install cloudera-manager-daemons cloudera-manager-server 离线安装资源下载地址 https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/ 上次下面资源包到cdh1节点 cloudera-manager-server--.el7.x86_64.rpm cloudera-manager-server-db---.el7.x86_64.rpm cl…

CDH集群安装配置（四）- mysql 的安装

安装mysql,并且创建相关的表(只需要在chd1上面安装而且需要root权限)1.1 查看Centos自带mysql是否已经安装 yum list installed | grep mysql 卸载自带mariadb # rpm -qa | grep mariadb mariadb-libs--.el7_0.x86_64 # rpm -e --nodeps mariadb-libs--.el7_0.x86_64 如果系统的mysql已经安装,卸载 yum -y remove mysql-lib…

CDH集群安装配置（二）- 公共环境的配置和虚拟机的克隆

1. 配置网络-ip地址设置静态 vi /etc/sysconfig/network-scripts/ifcfg-eth33 增加如下配置 ONBOOT=yes BOOTPROTO=static IPADDR=10.224.86.101 GATEWAY=10.224.86.1 NETMASK=255.255.255.0 DNS1=128.128.128.128 重启网卡 systemctl restart network 查看是否可以联网 ping baidu.com 2. 修改IP和主机名称的…