1.所有节点准备工作

1)。关闭防火墙

2)。关闭selinux 并重启系统

3)。建立NTP服务器,所有数据节点每天定时同步时间。

主节点在ntp.conf中增加

restrict 192.168.0.0 mask 255.255.0.0 nomodify

节点增加自动执行

* 2 * * * ntpdate 192.168.139.130

4)。下载安装包

cloudera-manager-agent-5.13.0-1.cm5130.p0.55.el6.x86_64.rpm
cloudera-manager-daemons-5.13.0-1.cm5130.p0.55.el6.x86_64.rpm
cloudera-manager-server-5.13.0-1.cm5130.p0.55.el6.x86_64.rpm
 jdk-6u31-linux-amd64.rpm

oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

vim /etc/security/limits.conf
  • soft nofile 65535

  • hard nofile 65535

2.主节点--CM

1)。下载

安装包至下面目录/opt/cloudera/parcel-repo

CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel
 CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha
 CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha1
manifest.json

注意:CDH-5.13.0-1*.sha1要修改为*.sha

2)。CM端安装

cloudera-manager-server

cloudera-manager-daemons

oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

3.节点安装

cloudera-manager-agent-5.13.0-1.cm5130.p0.55.el6.x86_64.rpm
cloudera-manager-daemons-5.13.0-1.cm5130.p0.55.el6.x86_64.rpm
 jdk-6u31-linux-amd64.rpm
 oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

这几个包安装

4.MYSQL驱动安装(每个节点)

mkdir -p /usr/share/java/
cp mysql-connector-java-5.1.31/mysql-connector-java-5.1.31-bin.jar /usr/share/java/mysql-connector-java.jar
cp /home/mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/oozie/lib/

cp mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hive/lib/
cp mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hue/lib/

cp /home/mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysl-connector-java.jar
cp /home/mysql-connector-java-5.1.45-bin.jar /var/lib/oozie 5.数据库安装
yum install mysql-server -y
数据库参数优化 加入自动启动
chkconfig mysqld on
server mysqld start
初始化密码
cat /var/log/mysqld.log |grep "password"
修改密码
alter user 'root'@'localhost' identified by '********';
远程访问
use mysql;
 grant all privileges on *.* to 'root'@'%' identified by '********' with grant option;
flush privileges;  mysqladmin -uroot password '*****'
授权访问
grant all privileges on *.* to 'root'@'n1' identified by 'xxxx' with grant option;
grant all privileges on *.* to 'root'@'%' identified by 'xxxx' with grant option;
flush privileges;
 
注意 n1为管理节点的主机名,
创建数据库scm\hive\hue\oozie 字符集 utf8 初始化SCM数据库

/usr/share/cmf/schema/scm_prepare_database.sh mysql scm root ********

4.客户端优化

1)。交换分区优化

需要在/etc/sysctl.conf修改,加上:

vm.swappiness=10

生效: sysctl -p

首先查看透明大页是否启用,[always] never表示已启用,always [never]表示已禁用

[root@n12 ~]# cat /sys/kernel/mm/redhat_transparent_hugepage/defrag
[always] madvise never
  • 1
  • 2

如果是启用状态,修改/etc/rc.local文件并添加以下两行, 
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag 
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

centos7

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

上述修改要重启才能生效,如果希望暂时生效,可以直接运行上面两个命令。

spark2.2安装

java 1.8支持

Configuring a Custom Java Home Location

Java, which Cloudera services require, may be installed at a custom location. Follow the installation instructions in Java Development Kit Installation.

If you choose to use a custom Java location, modify the host configuration to ensure the JDK can be found:
  1. Open the Cloudera Manager Admin Console.
  2. In the main navigation bar, click the Hosts tab and optionally click a specific host link.
  3. Click the Configuration tab.
  4. Select Category > Advanced.
  5. Set the Java Home Directory property to the custom location.
  6. Click Save Changes.
  7. Restart all services.

错误解决

ERROR 1286 (42000): Unknown table engine ‘InnoDB’

在my.cnf

中增加

ignore-builtin-innodb
plugin-load=innodb=ha_innodb_plugin.so
plugin_dir=/usr/lib64/mysql/plugin

删除mysql gh r ib_logfile0  ib_logfile1文件。

cdh 5.13 centos6.9安装的更多相关文章

  1. Hadoop_Hbase集群完全离线安装[CDH 5.13.1]

    here 一.环境准备:(这儿准备了三台虚拟机:内存6-3-3) JDK: -openjdk rpm -e java--openjdk-headless rpm -e java--openjdk-he ...

  2. CENTOS6.5安装CDH5.12.1(一) https://mp.weixin.qq.com/s/AP_m0QqKgzEUfjf0PQCX-w

    CENTOS6.5安装CDH5.12.1(一) 原创: Fayson Hadoop实操 2017-09-13 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看. 1.概述   本文档主要描 ...

  3. Centos6 yum安装openldap+phpldapadmin+TLS+双主配置

    原文地址:http://54im.com/openldap/centos-6-yum-install-openldap-phpldapadmin-tls-%E5%8F%8C%E4%B8%BB%E9%8 ...

  4. Centos6.5 安装 RabbitMQ3.6.1

    Centos6.5 安装 RabbitMQ3.6.1 个人安装RabbitMQ总结: 安装编译工具 yum -y install make gcc gcc-c++ kernel-devel m4 nc ...

  5. 【Java安装】Centos6.8 安装Java1.6

    安装java 1.6 Centos6.8安装完成后,一般都安装了java,为了安装java1.6,需要卸载系统自带的java,主要步骤: 先安装java1.6,目的:为了防止先卸载系统自带java时, ...

  6. centos6.5 安装jdk7和tomcat7

    JDK安装: 安装说明 系统环境:centos-6.5安装方式:rpm安装软件:jdk-7-linux-x64.rpm下载地址:http://www.oracle.com/technetwork/ja ...

  7. [转]Centos6.5安装配置keepalived

    参考博文: Centos6.5安装配置keepalived CentOS6.5 keepalived详解及实现Nginx服务的高可用性 CentOS6.5 LVS + KeepAlived搭建步骤 我 ...

  8. Centos6.9安装vsftpd并配置多用户的方法

    本文介绍了Centos6.9安装vsftpd并配置多用户的方法,分享给大家,具体如下: 一.安装vsftpd ? 1 2 3 4 5 6 7 8 #安装vsftpd yum -y install vs ...

  9. CentOS6.5安装MySQL5.6

    CentOS6.5安装MySQL5.6,开放防火墙3306端口,允许其他主机使用root账户密码访问MySQL数据库 查看操作系统相关信息 ** 该查看方法只适用于CentOS6.5 (lsb_rel ...

随机推荐

  1. 3. java.lang.UnsupportedClassVersionError: javax/annotation/ManagedBean : Unsupported major.minor version 51.0

    问题描述:

  2. 3. orcle导入导出dmp文件并更改表空间

    0.数据泵导入导出: expdp  test/test@10.0.0.11/orcl schemas=test dumpfile=test.dmp directory=DPDATA  logfile= ...

  3. asp.net在配置文件里设置多种编码方式的研究

    我们在做asp.net的程序时,在根目录下肯定会有一个web.config的文件, 有点开发经验的可能都知道,它是配置程序的全局信息的地方, 当然了,也可以在这里做更多的事情,下面我们来研究一下 ,如 ...

  4. input file 文件上传标签的样式美化

    input file 文件上传标签的样式美化 将<input type="file">的透明度设置为0: <input type="file" ...

  5. 03.设计模式_抽象工厂模式(Abstract Fcatory)

    抽象工厂模式:创建一些列相关或者互相依赖的对象的接口,而无需指定他们具体的类, 1.创建工厂Factory: package patterns.design.factory; import java. ...

  6. selenium初次接触-1

    10月30日 web自动化测试的两种方式:模拟整个http客户端(压力测试,取代浏览器和人,直接和服务端进行交互),模拟用户操作(功能测试,取代人) selenium是自动化浏览器的工具包,可以用于各 ...

  7. js 验证码倒计时

    <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...

  8. css3 - 特性

    伪类选择器 伪类选择器,不用再使用js来控制奇偶不同了 tr:nth-child(even){ background-color: white; } tr:nth-child(odd){ backgr ...

  9. leetcode 题解 word search。递归可以更简洁。

    先写上我的代码: 我总是不知道何时把任务交给下一个递归.以致于,写出的代码很臃肿! 放上别人递归的简洁代码: bool exist(char** board, int m, int n, char* ...

  10. Activity生命周期,切换,参数传递,bundle(包),值对象,Activity参数返回,Activity的启动模式

    Activity代表手机屏幕的一屏,或是平板电脑中的一个窗口.它是android应用中最重要的组成单元之一,提供了和用户交互的可视化界面.在一个Activity中,可以添加很多组件,这些组件负责具体的 ...