Hadoop_CDH安装
——本文非个人原创,为大牛同事整理,发布于此以备忘
1 CDH5.8安装(2018年4月19日)
1.1 物理服务器注意事项
(1)把raid都去掉了,每个物理盘都用raid0创建一个虚拟盘。Ctrl+r进入dell的raid设置,用F2来进行设置,注意设置完raid后,需要选中创建好的虚拟盘按F2从操作中选fast init,不初始化的话安装系统的时候找不到硬盘。
10.10.101.1-10.10.101.4这四台,每台服务器三块硬盘,一个用来装linux和CDH,一个盘给Hadoop用,最后一个盘给OpenStack使用。
10.10.101.5服务器给mitaka使用,服务器有两块硬盘,煤块2T。
(2)操作系统安装的是centos7.3,CentOS-7-x86_64-Everything-1611。分区调整的时候,把home分区留100多G,其他的给分到/分区。10.10.101.1和10.10.101.2前面的usb口可能不灵。
1.2 安装CDH5.8过程
参考地址:https://www.cmgine.com/archives/19130.html
实际步骤:参考CDH5.12的安装步骤
2 CDH 5.12安装(2018年3月19日)
参考地址:
https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_command_line.html
Installing and Deploying CDH Using the Command Line
http://blog.csdn.net/watermelonbig/article/details/77102187 【重点参考】
Cloudera Manager CDH 5.12 大数据处理平台部署指南
http://blog.csdn.net/fengdahui/article/details/54426317
CDH-5.XX 离线安装及升级步骤及安装过程常见错误
http://blog.csdn.net/sunsiyuan521/article/details/77045747
离线安装Cloudera Manager 5和CDH5(最新版5.12.0) 完全教程
http://archive.cloudera.com/cdh5/parcels/
离线安装需要下载的文件的路径,下载后保存到/opt/cloudera/parcel-repo
https://archive.cloudera.com/cm5/repo-as-tarball/5.12.0/
离线安装的yum需要的东西
2.1 物理服务器注意事项
(1)NameNode所在的节点一般不要同时做数据节点使用。而且NameNode所在主机的磁盘需要配置适当的RAID保护级别,以提高可靠性。
备注:这里在公司的hadoop集群用的是raid5
(2)对于DataNode所在的主机节点,建议系统盘和数据盘完全隔离开,然后系统盘使用两磁盘配置为RAID1以提高可靠性。虽然数据节点是冗余的,挂一个也不影响CDH平台运行,但修起来还是很麻烦。
备注:其他数据结点都是用的raid0,总共有3个数据结点。
注意dell服务器重启的时候按ctrl+r进入raid设置,按F2进行操作。设置完后需要选中硬盘初始化,否则安装的时候出错。
2.2 安装centos7.2及环境调整
2.2.1 环境调整
用u盘启动安装centos7.2,安装完毕后需要进行以下操作:
(1)设置IP地址。
(2)修改机器名。
hostnamectl set-hostname hadoop1(仅centos7)
(3)重启网络
命令:service network restart
(4)用xshell连接上已有的计算机,大部分命令可以一起操作了。
(5)禁用selinux。
getenforce
setenforce 0
vi /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled
注意:按i进入编辑状态,按esc退回到命令状态,命令状态按:wq并回车保存并退出。
(6)禁用防火墙。
systemctl stop firewalld
systemctl disable firewalld.service
firewall-cmd --state 查看防火墙状态
(7)设置hosts
vi /etc/hosts
10.10.101.1 hadoop1
10.10.101.2 hadoop2
10.10.101.3 hadoop3
10.10.101.4 hadoop4
10.10.101.5 mitaka
(8)设置免密登录
在所有的服务器上运行ssh-keygen,然后一路回车。
用xshell给每台机器上执行
ssh-copy-id 192.168.0.100 注意拷贝的IP是要安装cdh的服务器的IP
ssh-copy-id 192.168.0.101
ssh-copy-id 10.10.101.1 以后登录10.10.101.1就不用再输入口令了
执行完后看 cat /root/.ssh/authorized_key 是否存在,如果不存在,则手动创建
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_key 把所有计算机上的authorized_key文件合并成一个文件,再拷贝到各个计算机上。 |
这样可以保证每个服务器之间都可以相互免密登录。
验证:
ssh root@hadoop1
exit
ssh root@hadoop2
exit
ssh root@hadoop3
exit
ssh root@hadoop4
exit
(9)设置参数优化。
命令:vi /etc/sysctl.conf 回车输入i进入编辑状态,把下面的内容粘贴到文件最后
vm.swappiness = 0
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv4.ip_local_port_range = 1024 65000
按esc退出编辑状态,输入:wq保存并退出。
命令:vi /etc/rc.local 把下面的内容追加到文件最后
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
按esc退出编辑状态,输入:wq保存并退出。
source /etc/rc.local
命令:chmod +x /etc/rc.d/rc.local 这个命令不能少,否则重启后/etc/rc.local不能自动执行。
2.2.2 验证优化参数
(10)重启 reboot
(11)检查参数优化是否优化成功。
命令:getenforce 检查结果是否是Disabled
命令:firewall-cmd --state 检查防火墙是否关闭
命令:cat /sys/kernel/mm/transparent_hugepage/defrag 看是否是选中了never。
命令:cat /proc/sys/vm/swappiness 看结果是否是设置的0,如果设置的是10,则结果显示是10。
注意:如果centos是在vmware虚拟机安装的,这个参数可能会改不了,一直是30。物理机的centos没有问题。
上面命令一起执行如下:
getenforce
firewall-cmd --state
cat /sys/kernel/mm/transparent_hugepage/defrag
cat /proc/sys/vm/swappiness
2.3 把centos安装盘设置成本地源(离线安装mysql wget需要)
注意:如果是在线安装也挺快,就不用设置本地源了
(1)新建用来挂载的目录。
cd /mnt/
mkdir iso cdrom
cd /mnt/iso
(2)把CentOS-7-x86_64-Everything-1511.iso文件拷贝到/mnt/iso目录下。
(3)执行挂载命令如下:
mount -o loop /mnt/iso/CentOS-7-x86_64-Everything-1511.iso /mnt/cdrom/
(mount命令 -o指定选项,loop用来把一个文件当成硬盘分区mount到目录)
需要加到/etc/rc.local文件中,作为开机执行语句,否则重启后还需要重新执行此命令
(4)备份原来的源文件。
cd /etc/yum.repos.d/
mkdir bak
mv *.repo ./bak
(5)设置本地源
vi /etc/yum.repos.d/iso.repo
[Centos]
name=CentOS
baseurl=file:///mnt/cdrom
gpgcheck=0
enabled=1
编辑好后保存并关闭文件。
(6)安装后面用到的工具
yum install wget -y 需要安装,否则后面安装CDH有报错
yum install deltarpm -y 需要安装,否则后面安装CDH有报错
yum install psmisc -y 需要安装,否则后面安装CDH有报错
yum install wget -y
yum install deltarpm -y
yum install psmisc -y
2.4 正式安装CDH
2.4.1 安装oracle jdk (都安装)
(1)下载rpm安装包
http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html
注意:下载的时候需要登录oracle的帐号。
(2)安装rpm包
rpm -ivh jdk-8u161-linux-x64.rpm
(3)编辑配置文件指定java的home目录并导出环境变量
vi /etc/profile 将下面的内容拷贝到文件最后
JAVA_HOME=/usr/java/jdk1.8.0_161
PATH=$JAVA_HOME/bin:$PATH:.
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH
注意:编辑的时候别把PATH参数搞错了,否则可能会引起命令找不到问题。
执行source /etc/profile
(4)检查java是否安装成功
echo $JAVA_HOME 显示:/usr/java/jdk1.8.0_161
java -version 显示结果如下:
java version "1.8.0_161" Java(TM) SE Runtime Environment (build 1.8.0_161-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode) |
说明:出现上面的结果,说明java已经安装成功。
2.4.2 安装mysql (只装1台)
有多种方法,这里centos7.2的安装iso文件搭建本地yum源,然后再安装。
(1)正式安装mysql
yum install mariadb mariadb-server -y
systemctl enable mariadb.service
systemctl start mariadb.service
mysql_secure_installation
最后一个命令,设置数据库的root的口令为admin@123
验证:
#mysql -u root -p
输入刚才设置的口令admin@123
如果能正常登录,说明mysql安装成功了
注意:如果不能安装需要先卸载冲突的包
rpm -qa | grep mariadb #查看安装信息
rpm -e mariadb-libs* --nodeps #根据查找到的软件包信息卸载
rpm -e mariadb-libs-5.5.52-1.el7.x86_64 --nodeps
(2)优化数据库
跳过:这里没有设置。
2.4.3 创建需要的数据库 (只操作1台)
Role |
Database |
User |
Password |
Activity Monitor |
amon |
amon |
amon_password |
Reports Manager |
rman |
rman |
rman_password |
Hive Metastore Server |
metastore |
hive |
hive_password |
Sentry Server |
sentry |
sentry |
sentry_password |
Cloudera Navigator Audit Server |
nav |
nav |
nav_password |
Cloudera Navigator Metadata Server |
navms |
navms |
navms_password |
Oozie |
oozie |
oozie |
oozie_password |
Hue |
hue |
hue |
hue_password |
登录数据库:mysql -u root -p
输入密码admin@123
create database amon DEFAULT CHARACTER SET utf8;
create database rman DEFAULT CHARACTER SET utf8;
create database hive DEFAULT CHARACTER SET utf8;
create database sentry DEFAULT CHARACTER SET utf8;
create database nav DEFAULT CHARACTER SET utf8;
create database navms DEFAULT CHARACTER SET utf8;
create database oozie DEFAULT CHARACTER SET utf8;
create database hue DEFAULT CHARACTER SET utf8;
grant all on amon.* TO amon@'%' IDENTIFIED BY 'amon_password';
grant all on rman.* TO rman@'%' IDENTIFIED BY 'rman_password';
grant all on hive.* TO hive@'%' IDENTIFIED BY 'hive_password';
grant all on sentry.* TO sentry@'%' IDENTIFIED BY 'sentry_password';
grant all on nav.* TO nav@'%' IDENTIFIED BY 'nav_password';
grant all on navms.* TO navms@'%' IDENTIFIED BY 'navms_password';
grant all on oozie.* TO oozie@'%' IDENTIFIED BY 'oozie_password';
grant all on hue.* TO hue@'%' IDENTIFIED BY 'hue_password';
1.1.1 安装时间同步服务1(OpenStack需要的时间服务器)
(1)在 时间服务器 上配置:
yum install chrony -y
vi /etc/chrony.conf
server hadoop1 iburst
server s1a.time.edu.cn iburst //改成这个或保持原来的都可以
allow 192.168/16 //注意修改成合适的网段
注意:上面是控制节点的设置,其他节点的时间服务器指定为hadoop0
systemctl enable chronyd.service
systemctl start chronyd.service
chronyc sources
(2)设置时区
timedatectl set-timezone Asia/Shanghai
显示时间
date
(3)在其他机器上的配置
yum install chrony -y
vi /etc/chrony.conf
server hadoop1 iburst
注意:上面是控制节点的设置,其他节点的时间服务器指定为hadoop0
systemctl enable chronyd.service
systemctl start chronyd.service
chronyc sources 查看时间服务器是否能同步了。
1.1.2 安装时间服务2(这个是CDH需要的时间服务)
[root@CDH-DEV1 .ssh]# yum install ntp
【时间服务器服务端的设置】
修改配置文件:vi /etc/ntp.conf,修改以下部分
server time.asia.apple.com
server 127.127.1.0
fudge 127.127.1.0 stratum 11
参考:https://blog.csdn.net/chuan_day/article/details/55096426
【其他服务器的设置】
server 10.10.101.5 iburst
【设置开机启动】
[root@CDH-DEV1 .ssh]# chkconfig ntpd on
【服务启动】
[root@CDH-DEV1 .ssh]# service ntpd start
【重启服务】
[root@CDH-DEV1 .ssh]# service ntpd restart
验证命令:
CDH系统错误提示详情页面给的查看命令:ntpdc -np
一直查看同步的时间:watch ntpq -p 按ctrl+c结束查看
使用ntpstat 命令查看时间同步状态,这个一般需要5-10分钟后才能成功连接和同步。所以,服务器启动后需要稍等下。
1.1.1 安装Cloudera Manager Server 软件(都安装)
(1)新建目录,考入压缩包并解压
mkdir /opt/cloudera-manager
cd /opt/cloudera-manager
考入压缩包cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz拷贝
解压缩tar zxvf cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz
(2)创建CM Server系统用户账号
useradd --system --home=/opt/cloudera-manager/cm-5.12.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
Cdh5.8.0安装:
useradd --system --home=/opt/cloudera-manager/cm-5.8.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
(3)创建CM Server的本地数据存储目录
mkdir -p /var/lib/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server
(4)配置所有节点上的Cloudera Manager Agents
sed -i 's/server_host=localhost/server_host=hadoop1/' /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-agent/config.ini
说明:上面的命令的意思是vi /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-agent/config.ini
vi /opt/cm-5.8.0/etc/cloudera-scm-agent/config.ini |
将里面的server_host=localhost 修改为server_host=hadoop1 设置CM的服务器名。
(5)创建和初始化CM Server数据库
将mysql-connector-java-5.1.45-bin.jar 拷贝到 /opt/cloudera-manager/cm-5.12.0/share/cmf/lib
5.8的操作 makedir -p /usr/share/java/ scp mysql-connector-java-5.1.45-bin.jar root@hadoop1:/opt/cm-5.8.0/share/cmf/lib/ scp mysql-connector-java-5.1.45-bin.jar root@hadoop1:/usr/share/java/ |
初始化脚本语法为:scm_prepare_database.sh database-type [options] database-name username password
命令如下:
/opt/cloudera-manager/cm-5.12.0/share/cmf/schema/scm_prepare_database.sh mysql -hlocalhost -uroot -padmin@123 scm scm scm
5.8的操作如下: /opt/cm-5.8.0/share/cmf/schema/scm_prepare_database.sh mysql -hlocalhost -uroot -padmin@123 scm scm scm |
注意:上面的数据库的口令是admin@123 最后三个scm是数据库名用户名和口令。
命令执行后的显示结果如下:
JAVA_HOME=/usr/java/jdk1.7.0_80 Verifying that we can write to /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server Creating SCM configuration file in /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server Executing: /usr/java/jdk1.7.0_80/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cloudera-manager/cm-5.12.0/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db. [ main] DbCommandExecutor INFO Successfully connected to database. All done, your SCM database is configured correctly! |
登录mysql (mysql -u root -padmin@123),增加一条对CM Server主机的访问授权:
grant all on scm.* TO 'scm'@'hadoop1' IDENTIFIED BY 'scm';
登录hadoop1节点配置CM Server的数据库配置文件:
vi /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server/db.properties
vi /opt/cm-5.8.0/etc/cloudera-scm-server/db.properties |
需要根据实际情况更新以下参数。
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=hadoop1
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=scm
(6)创建CDH Parcel资源目录
在hadoop1节点上:
mkdir -p /opt/cloudera/parcel-repo
cd /opt/cloudera/parcel-repo
将以下已经准备好的parcel资源文件放入该目录:
CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel
CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha
manifest.json
设置该目录的所属用户和组:
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
在其它所有节点上:
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
(7)启动cloudera manager server and agents
直接使用root运行启动脚本即可,脚本中已经默认设定为会切换到cloudera-scm用户运行进程。
在所有节点上,先调整下文件属主权限:
chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager
安装:yum install psmisc,否则提示pstree命令找不到(前面已经安装过了就不用再装了)
1.1.1.1 启动server和agent
5.8.0的操作 scp -r /opt/cm-5.8.0/ root@hadoop2:/opt/ |
在hadoop1节点上启动CM Server:
/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server start
/opt/cm-5.8.0/etc/init.d/cloudera-scm-server start
在所有节点上启动CM agent:
/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent start
/opt/cm-5.8.0/etc/init.d/cloudera-scm-agent start
/opt/cm-5.8.0/etc/init.d/cloudera-scm-server start /opt/cm-5.8.0/etc/init.d/cloudera-scm-agent start |
停止的操作:
/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent stop
/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server stop
注:在启动上面的服务时,注意检查进程是否运行,是否因报错退出。可以检查../../log/下面的日志文件,分析错误原因。
1.1.2 登录http://10.10.101.1:7180 进行配置
登录管理站点
注意:如果上面的启动服务的命令刚执行完,等一会这个站点才能完全启动。
注意:上面选核心Hadoop可能安装不过,建议选最后面的自定义,只选择hdfs试一试。
HBase HDFS Oozie ZooKeeper
集群设置-自定义角色分配
注意:在根据情况进行选择,这边只装了一台。
集群设置-数据库设置
在安装CDH过程的分配这一步,总是遇到“主机运行状态不良”的提示,解决办法如下:
rm -f /opt/cloudera-manager/cm-5.12.0/lib/cloudera-scm-agent/cm_guid
/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent restart
1.1 错误解决
1.1.1 网络接口速度 警告
操作:
(1)查看网卡情况:ethtool em1
(2)查看网卡情况:ifconfig | more 发现em2和em3有桥接情况
(3)查看桥接:brctl show
1.1.1 防止出错的预防操作
cp /opt/cm-5.8.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hive/lib/
cp /opt/cm-5.8.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /var/lib/oozie/
1.1.2 启动agent出错
操作:mkdir /opt/cm-5.8.0/run/cloudera-scm-agent
1.1.3 主机状态不良的解决办法(ok)
rm -f /opt/cloudera-manager/cm-5.12.0/lib/cloudera-scm-agent/cm_guid
/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent restart
1.1.4 NFS Gateway启动失败
在要运行NFS Gateway的服务器上安装:rpcbind
yum install rpcbind
service rpcbind start
systemctl enable rpcbind
1.1.5 Oozie客户端不能访问少ext
/opt/cloudera/parcels/CDH/lib/oozie/libext
把ext-2.2.zip 解压缩后放到这个目录。
1.1.6 oozie启动失败
(1) 拷贝mysql的驱动文件。
一个是需要把java的mysql的驱动jar文件拷贝到oozie的lib目录中
/opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/oozie/lib
(2) 在界面中点击创建oozie的表
点到oozie里面,在操作中选择创建oozie的表,然后再启动oozie就能启动了。
1.1.7 Yarn部署客户端出错
部署客户端出错:
需要yum install perl -y
查看日志:
1.1.8 Yarn启动失败
查看日志:
tail -f /var/log/hadoop-mapreduce/hadoop-cmf-yarn-JOBHISTORY-hadoop1.log.out
查看日志:不能创建目录hdfs://hadoop1:8020/user/history/
解决办法,手动创建?
su hdfs
hadoop fs -mkdir hdfs://hadoop1:8020/user/history/
点开yarn后,有命令操作可以通过CDH的界面创建。
1.1.9 Hive启动失败
(1)把mysql-connector-java-5.1.45-bin.jar 拷贝到
/opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive/lib
(2)创建hive需要的表:点Hive->操作->创建表,这个也是通过CDH的界面创建。
1.1.10 Hue启动失败
(1)还需要运行命令
yum install -y python-lxml
参考网址:https://www.cnblogs.com/zhangyin6985/p/7357738.html
(2)创建目录
mkdir -p /var/log/hue-httpd/
touch /var/log/hue-httpd/error_log
(3)安装服务httpd,mod_ssl
yum install httpd mod_ssl -y
(4)安装sasl,否则打开hue站点的时候有错误提示
yum install cyrus-sasl-devel
yum install cyrus-sasl-gssapi
重启hue
yum install krb5-server.x86_64 krb5-devel.x86_64 (这个不需要?)
1.2 常用操作
1.2.1 日志
Agent日志:/opt/cloudera-manager/cm-5.12.0/log/cloudera-scm-agent
Server日志:/opt/cloudera-manager/cm-5.12.0/log/cloudera-scm-server
查看cm服务启动日志
tail -f /opt/cloudera-manager/cm-5.12.0/log/cloudera-scm-server/cloudera-scm-server.log
1.2.2 启动停止服务
在hadoop0节点上启动CM Server:
/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server start
在所有节点上启动CM agent:
/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent start
停止的操作:
/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent stop
/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server stop
1 在线安装
1.1 QuickStarts for CDH 5.12
https://www.cloudera.com/downloads/quickstart_vms/5-12.html
1.2 Cloudera Manager 5.14.1 (2018年2月26日)
1.2.1 安装参考(官网参考+个人注释)
安装参考网址
https://www.cloudera.com/downloads/manager/5-8-0.html
Automated Installation
Ideal for trying Cloudera enterprise data hub, the installer will download Cloudera Manager from Cloudera's website and guide you through the setup process.
Pre-requisites: multiple, Internet-connected Linux machines, with SSH access, and significant free space in /var and /opt.
重做系统,把/目录增加空间,这个是给/var和/opt目录使用,/home减少了100G,给/增加了300G。 设置机器名为hadoop1 命令#vi /etc/hostname 重做系统后需要设置IP为192.168.0.100 用yum update升级后,发现centos的版本也升级了,变成centos7.4了,不能再装CDH-5.8.0了。 重装centos7.2系统,并安装wget:yum install wget 设置IP为192.168.0.100,设置机器名为hadoop1 chmod +x /etc/rc.d/rc.local 并在rc.local中添加 echo 10 > /proc/sys/vm/swappiness echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled |
$ wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
wget这个命名没有安装,需要先安装 yum install wget |
$ chmod u+x cloudera-manager-installer.bin
修改文件权限,增加可执行权限。 |
$ sudo ./cloudera-manager-installer.bin
需要关闭防火墙 关闭selinux setenforce 0 vi /etc/selinux/config 修改保存后需要重启。 可以执行,安装完毕后,提示访问http://192.168.0.100:7180继续安装,用户名口令是admin 不能访问,关闭防火墙。systemctl stop firewalld 关闭防火墙后可以正常访问。 选择安装的时候选择的有效期60天的中间的产品。 安装成功,提示有两个警告需要处理,警告如下:
|
Hadoop_CDH安装的更多相关文章
- docker——容器安装tomcat
写在前面: 继续docker的学习,学习了docker的基本常用命令之后,我在docker上安装jdk,tomcat两个基本的java web工具,这里对操作流程记录一下. 软件准备: 1.jdk-7 ...
- 网络原因导致 npm 软件包 node-sass / gulp-sass 安装失败的处理办法
如果你正在构建一个基于 gulp 的前端自动化开发环境,那么极有可能会用到 gulp-sass ,由于网络原因你可能会安装失败,因为安装过程中部分细节会到亚马逊云服务器上获取文件.本文主要讨论在不变更 ...
- Sublime Text3安装JsHint
介绍 Sublime Text3使用jshint依赖Nodejs,SublimeLinter和Sublimelinter-jshint. NodeJs的安装省略. 安装SublimeLinter Su ...
- Fabio 安装和简单使用
Fabio(Go 语言):https://github.com/eBay/fabio Fabio 是一个快速.现代.zero-conf 负载均衡 HTTP(S) 路由器,用于部署 Consul 管理的 ...
- gentoo 安装
加载完光驱后 1进行ping命令查看网络是否通畅 2设置硬盘的标识为GPT(主要用于64位且启动模式为UEFI,还有一个是MBR,主要用于32位且启动模式为bois) parted -a optima ...
- Linux平台 Oracle 10gR2(10.2.0.5)RAC安装 Part3:db安装和升级
Linux平台 Oracle 10gR2(10.2.0.5)RAC安装 Part3:db安装和升级 环境:OEL 5.7 + Oracle 10.2.0.5 RAC 5.安装Database软件 5. ...
- Linux平台 Oracle 10gR2(10.2.0.5)RAC安装 Part1:准备工作
Linux平台 Oracle 10gR2(10.2.0.5)RAC安装 Part1:准备工作 环境:OEL 5.7 + Oracle 10.2.0.5 RAC 1.实施前准备工作 1.1 服务器安装操 ...
- 【原】nodejs全局安装和本地安装的区别
来微信支付有2年多了,从2年前的互联网模式转变为O2O模式,主要的场景是跟线下的商户去打交道,不像以往的互联网模式,有产品经理提需求,我们帮忙去解决问题. 转型后是这样的,团队成员更多需要去寻找业务的 ...
- tLinux 2.2下安装Mono 4.8
Tlinux2.2发行版基于CentOS 7.2.1511研发而成,内核版本与Tlinux2.0发行版保持完全一致,更加稳定,并保持对Tlinux2.0的完全兼容.Mono 4版本要求CentOS 7 ...
随机推荐
- unity室内外VR漫游
这是一个用Unity 做的VR漫游小场景.
- 让input不可编辑
有时候,我们希望表单中的文本框是只读的,让用户不能修改其中的信息,如使<input type="text" name="input1" value=&qu ...
- 苹果笔记本安装windows正版操作系统
http://vip.dzzysm.cn/mac/ http://www.windows7en.com/Win7/20439.html windows 7之家的网友很多,其中不缺乏土豪网友购买苹果的M ...
- C++学习笔记(一):C++基础知识
一.C++基础知识 新的数据类型 C语言中的数据类型 C++中新的数据类型 思考:新的数据类型有什么好处?请看下面的代码: 可以见得:新的类型使整个程序更加简洁,程序变得易读易懂!这个就是bool类型 ...
- Rhino学习教程——1.1
在Rhino的官网下载好Rhino5.0版本后(Rhino官网会提供下载方式,官网是http://www.xuexiniu.com),双击桌面快捷键,就会出现Rhino的界面(我已经自定义过界面了). ...
- Excel动态图表
动态图表其实一点都不难,真的!先看效果,然后教你一步步实现.这是每个地区经销跟代销的数据.Step 01在开发工具插入表单控件.Step 02将表单控件调整到合适的大小,并设置控件格式.Step 03 ...
- 关于Servlet的一些归纳(2)
1.web项目结构 根路径: 文件夹 文件 WEB-INF: lib(存放一些jar文件) classes(存放class文件) web.xml 2.GenericServlet类 实现了Servle ...
- 三大统计相关系数:Pearson、Spearman秩相关系数、kendall等级相关系数
统计相关系数简介 由于使用的统计相关系数比较频繁,所以这里就利用几篇文章简单介绍一下这些系数. 相关系数:考察两个事物(在数据里我们称之为变量)之间的相关程度. 如果有两个变量:X.Y,最终计算出的相 ...
- websocket+rabbitMQ
拉取镜像:docker run -d --hostname my-rabbit --name some-rabbit -p 5672:5672 -p 15672:15672 -p 61613:616 ...
- MSSQL转Mysql常用函数,语法等
MSSQL转Mysql常用 一.字段类型 MSSQL Mysql 备注 "nchar" "char()" 最大长度为255 "nvarchar&quo ...