Server端需要打开端口 7180 7182

选址正确的版本,cdh版本不要高于cm版本

CM下载地址

http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz

CDH下载地址

http://archive.cloudera.com/cdh5/parcels/5.13.3/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel

http://archive.cloudera.com/cdh5/parcels/5.13.3/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha1

http://archive.cloudera.com/cdh5/parcels/5.13.3/manifest.json

二 安装JAVA环境

三 关闭防火墙以及selinux

四 配置NTP服务(云主机一般不用管 除非配置单独的ntp)

五 设置swap空间

(Cloudera建议将交换空间设置为0,过多的交换空间会引起GC耗时的激增,所以还是关闭的为好。)

执行命令 (所有节点)

echo "vm.swappiness = 0" >> /etc/sysctl.conf

六 执行命令 (所有节点)

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

七 安装mysql

安装文件下载目录:/opt/software/mysql

数据库保存位置:/opt/software/mysql/datamysql

日志保存位置:/opt/software/mysql/logmysql

Mysql 下载 https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.25-el7-x86_64.tar

解压缩到/usr/local/ 目录下

tar -xf mysql-5.7.25-el7-x86_64.tar  /usr/local/

cd /usr/local

tar -zxvf ./mysql-5.7.25-el7-x86_64.tar.gz

mv ./mysql-5.7.25-el7-x86_64 ./mysql

7.2 创建mysql用户用户组及目录

Groupadd mysql

useradd -r -s /sbin/nologin -g mysql mysql -d /usr/local/mysql

该用户禁止shell登录,同时修改用户目录权限

cd /usr/local/mysql

chown -R mysql

chgrp -R mysql .

chown -R mysql:mysql /opt/software/mysql/datamysql

chown -R mysql:mysql /opt/software/mysql/logmysql

7.3 初始化MYSQL

/usr/local/mysql/bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/opt/software/mysql/datamysql

有报错

这是因为缺少安装包libaio和libaio-devel导致的不用紧张yum来帮忙

yum install libaio*

再次报错

这是却少numactl这个时候如果是Centos

yum -y install numactl

就可以解决这个问题了.

安装成功 初始 密码:r/TYl;FqW2Ll

再次执行

/usr/local/mysql/bin/mysql_ssl_rsa_setup  --datadir=/opt/software/mysql/datamysql

有报错先跳过

修改/etc/my.cnf

[client]

port = 

socket = /usr/local/mysql/mysql.sock

[mysql]

no-auto-rehash

default-character-set=utf8

[mysqld]

socket = /usr/local/mysql/mysql.sock

basedir = /usr/local/mysql

max_allowed_packet = 64M

datadir = /data/mysql

explicit_defaults_for_timestamp = true

skip-ssl

secure-file-priv = NULL

lower_case_table_names = 

back_log = 

max_connections = 

max_connect_errors = 

table_open_cache = 

external-locking = FALSE

max_allowed_packet = 64M

sort_buffer_size = 32M

join_buffer_size = 32M

thread_cache_size = 

query_cache_size = 128M

query_cache_limit = 4M

thread_stack = 512K

transaction_isolation = REPEATABLE-READ

tmp_table_size = 128M

max_heap_table_size = 128M

character-set-server=utf8

long_query_time = 

slow_query_log_file=/opt/software/mysql/logmysql/slow.log

[mysqld_safe]

open-files-limit = 

sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

拷贝修改启动文件

cp /usr/local/mysql/support-files/mysql.server  /etc/init.d/mysql

修改

7.4 运行mysql

启动mysql /etc/init.d/mysql restart

有报错可以看

/opt/software/mysql/datamysql/presto4.err

 

/usr/local/mysql/bin/mysql --user=root -p

r/TYl;FqW2Ll

7.5

依次输入以下命令:

mysql> set password=password(‘N$nIpms1’);  --修改密码

mysql>grant all privileges on *.* to 'root'@'%' identified by 'N$nIpms1';--允许远程访问

mysql> flush privileges;--刷新授权表

创建CM用的数据库:

--hive数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci ;

--集群监控数据库

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci ;

--hue数据库

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

-- oozie数据库

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

7.5 配置文档以便启动

Vim /etc/profile

export PATH=/usr/local/mysql/bin:$PATH

Source /etc/profile

systemctl  enable  mysql

chmod 755 /etc/init.d/mysql

八  安装Cloudera Manager Server和 Agent

cd /opt/cdh

tar -zxvf cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz

这里开始我们的cm需要与mysql进行交互,所以首先需要去MySql的官网下载JDBC驱动,http://dev.mysql.com/downloads/connector/j/,解压后找到mysql-connector-java-5.1.**-bin.jar,放到/opt/cm-5.12.1/share/cmf/lib/中,不多赘述。

mv ./mysql-connector-java-5.1.40-bin.jar  /opt/cdh/cm-5.13.3/share/cmf/lib/

8.2 在主节点初始化CM5的数据库:

/opt/cdh/cm-5.13.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p’N$nIpms1’ --scm-host localhost scm scm scm

有报错 注意引号是中文的引号还是英文的

修改文件/opt/cdh/cm-5.13.3/etc/cloudera-scm-agent/config.ini

Server和server也要做免密

Cd /opt/cdh

Tar -zcvf cm-5.13.3.gz cm-5.13.3 (这里注意 一定要先考过到其他主机才能启动,因为启动(agent)会生成一个uuid,如果先启动再来拷贝就会出现 界面安装的时候只能识别到一台主机,并且这个主机的IP hostname一直在变化的情况,因为三台主机公用一个UUID造成的,不过不小心先启动了agent  需要的目录里面cd /opt/cm-5.13.3/lib/cloudera-scm-agent  删除这下面的所有然后重启)

把包文件包拷贝到其他两台机器

Scp ./cm-5.13.3.gz presto2:/opt/cdh

Scp ./cm-5.13.3.gz presto3:/opt/cdh

解压

然后新增用户

useradd --system --home=/opt/cdh/cm-5.13.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

修改文件属性

chown -R  cloudera-scm:cloudera-scm /opt/cdh/

8.3 准备Parcels,用以安装CDH5

将我们提前下载好的Parcels文件上传到主节点的/opt/cdh/cloudera/parcel-repo/目录中(如果没有parcel-repo需要手动创建,这里不需要分发到所有节点)。

注意!!最后一定要将CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1,重命名为CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha,去掉末尾的1,否则系统会重新下载CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel文件,也就不是纯离线安装了。

Cd /opt/cdh

cp ./CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel* /opt/cdh/cloudera/parcel-repo/

cp ./manifest.json  /opt/cdh/cloudera/parcel-repo/

Cd /opt/cdh/cloudera/parcel-repo/

mv CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel

8.4启动服务端客户端

通过/opt/cdh/cm-5.13.3/etc/init.d/cloudera-scm-server start启动服务端。

通过/opt/cdh/cm-5.13.3/etc/init.d/cloudera-scm-agent start启动Agent服务(所有Agent节点)。

以上我们是通过脚本来启动的,所以需要停止服务的时候,只需要把以上的start参数改为stop就可以啦。

service服务启动需要几分钟,取决于服务器的性能,此时我们可以使用

netstat -apn|grep 7180

启动成功但是又2个报错

mkdir /var/lib/cloudera-scm-server

chown -R cloudera-scm.cloudera-scm /var/lib/cloudera-scm-server

重启

正常

启动agent

/opt/cdh/cm-5.13.3/etc/init.d/cloudera-scm-agent start

有报错

打开7180 7182端口

8.5 页面配置

账号密码默认为admin

如果前面配置正确,这里应该有三台设备

对于图上的报错,是因为没有把parcels文件放在默认的目录下

点击更多选项

还是不行,直接重启server搞定(貌似必须重启)

集群安装

安装HIVE有报错

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.zip

unzip mysql-connector-java-5.1.46.zip

Cp ./mysql-connector-java-5.1.46.jar  /opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3.p0.2/lib/hive/lib

注意一定还要拷贝到/usr/share/hive/mysql-connector-java.jar 下面,需要改名(去掉版本后缀)

Cp ./mysql-connector-java-5.1.46.jar  /usr/share/hive/mysql-connector-java.jar

Oozie也报错

Cp mysql-connector-java.jar  /var/log/oozie  这里位置不同。要注意

Hue报错

ImportError: libxslt.so.1: cannot open shared object file: No such file or directory

yum install libxslt

页面发现 报错

'No portmap or rpcbind service is running on this host. Please start portmap or rpcbind service before attempting to start the NFS Gateway role on this host.'

yum install rpcbind.x86_64

启动

systemctl start rpcbind

集群配置

报错:如果出现 服务通信正常 但是主机异常

不良 : 该主机已与 Cloudera Manager Server 建立联系。 该主机未与 Host Monitor 建立联系。

很有可能是hosts 有某个主机没有配置对,centos6.x的主机需要配置、/etc/sysconfig/network

另外推荐一个6.1.0的安装博客  https://blog.51cto.com/wzlinux/2321433

CDH5.13.3安装手册的更多相关文章

  1. CDH5.13.1安装

    文件下载 Cloudera Manager 地址:http://archive.cloudera.com/cm5/cm/5/ 这里下载的是5.13.1的版本,https://archive.cloud ...

  2. Oracle 11g R2安装手册(图文教程)For Windows

    1.Oracle 11g R2安装手册(图文教程)For Windows 1.下载Oracle 11g R2 for Windows版本,下载地址如下 官方网站: http://download.or ...

  3. CDH5.11..0安装

    1.参考: http://www.cnblogs.com/codedevelop/p/6762555.html grant all privileges on *.* to 'root'@'hostn ...

  4. centos7.5搭建cdh5.13.0

    序言 本文集群搭建为三台机器,cdh版本为5.13.0,以下是安装过程中所用到的软件包等,可以自行下载.一.前期准备1.安装环境 系统:centos7.5/最小安装版本/64位 内存:主节点 --&g ...

  5. hibench 对CDH5.13.1进行基准测试(测试项目hadoop\spark\)HDFS作HA高可靠性

    使用CDH 5.13.1部署了HADOOP集群之后,需要进行基准性能测试. 一.hibench 安装 1.安装位置要求. 因为是全量安装,其中有SPARK的测试(SPARK2.0). 安装位置在SPA ...

  6. Oracle 11g R2安装手册(…

    1.Oracle 11g R2安装手册(图文教程)For Windows 1.下载Oracle 11g R2 for Windows版本,下载地址如下官方网站:http://download.orac ...

  7. centos 7 cloudera-manager5.16.2,CDH5.16.2安装升级spark2.4.0

    1.在已经安装好系统的linux服务器上关闭selinux和iptables 2.在所有linux服务器上配置ntp服务并设置ntp时间同步 3.在所有linux服务器上安装好cm和cdh版本所需要对 ...

  8. 【7集iCore3基础视频】7-6 Quartus II 13.1安装

    Quartus II 13.1安装:高清源视频:链接:http://pan.baidu.com/s/1csVRMA 密码:lkth 视频勘误:http://pan.baidu.com/s/1mhCIq ...

  9. Redis安装手册

    转载请注明出处:http://www.cnblogs.com/robinjava77/p/5465146.html (Robin) 1)下载redis:wget http://download.red ...

随机推荐

  1. Python获取两个文件的交集、并集、差集

    题记:朋友在处理数据时,需要解决这方面的问题,所以利用她给的代码,自己重新梳理了下,并成功运行. 代码如下: # coding:utf-8 s1 = set(open(r'C:\\Users\\yan ...

  2. SQL server 自增主键重新从1开始

    原文链接:http://blog.csdn.net/zhengjia0826/article/details/43149953 dbcc checkident('sys_common_switch', ...

  3. URL encoding(URL编码)

    URL encoding(URL编码),也称作百分号编码(Percent-encoding),是指特定上下文的统一资源定位符(URL)编码机制UrlEncode:将字符串以URL编码返回值:字符串函数 ...

  4. JSP 简单标签extends SimpleTagSupport

    1.控制JSP页面某一部分内容是否执行 public void doTag() this.getJspBody().invoke(null);执行 空白,不执行 2.控制JSP页面内容重复执行 pac ...

  5. mysql实现id自增

    用下面这句话就可以实现插入mysql数据时候实现id自增 create table shuju (id int(10) auto_increment primary key,name varchar( ...

  6. Android逆向——破解水果大战

    最近公司需要测试安卓app安全,但安卓基本上0基础,决定开始学习下安卓逆向根据吾爱破解上教程 <教我兄弟学Android逆向系列课程+附件导航帖> https://www.52pojie. ...

  7. Python爬虫学习==>第十章:使用Requests+正则表达式爬取猫眼电影

    学习目的: 通过一个一个简单的爬虫应用,初窥门径. 正式步骤 Step1:流程框架 抓取单页内容:利用requests请求目标站点,得到单个页面的html代码,返回结果: 正则表达式分析:根据html ...

  8. v8 google 下载及编译

    ubuntu环境下进行 参考文档: http://code.google.com/p/v8/wiki/BuildingWithGYP (一) 源码下载及编译 1, Google v8 官网:http: ...

  9. Leetcode之动态规划(DP)专题-63. 不同路径 II(Unique Paths II)

    Leetcode之动态规划(DP)专题-63. 不同路径 II(Unique Paths II) 初级题目:Leetcode之动态规划(DP)专题-62. 不同路径(Unique Paths) 一个机 ...

  10. 应用安全 - 社工 - 大数据 - Fofa - 汇总

    搜索语法 title=”abc”   header=”abc”  body=”abc”  domain=”xx.com”  host=”.xx.cn”  port=”443”     ip=”1.1. ...