CDH6.2安装配置第二篇:CDH安装的前期配置
本篇介绍cdh安装之前需要的一些必要配置,当然这些配置也可以用shell脚本来配置。在安装之前请先配置好yum源,在文中用的统一都是阿里源。在安装的时候,要确保主机的内存是4G以上,要不然会无限重启cm服务
另外2篇传送门:
其他配置的传送门:
CDH版本:6.2
系统:centos7(el6是代表centos6系统,centos7则用el7表示)
主机3台:
master.com.cn 192.168.1.110 2C4G
salver1.com.cn 192.168.1.111 1C2G
salver2.com.cn 192.168.1.112 1C2G
yum服务器:yum.com.cn 192.168.1.100。这里如果不知道怎么配置的朋友,可以参考第一篇:https://www.cnblogs.com/yaowentao/p/12296329.html
基本配置
1. 主机名在系统安装的配置完毕,如果没有配置,可以进系统在修改
$ vi /etc/hostname
2. 配置host文件
$ vi /etc/hosts
192.168.1.100 yum.com.cn
192.168.1.110 master.com.cn
192.168.1.111 salver1.com.cn
192.168.1.112 salver2.com.cn
3. 关闭防火墙,selinux。配置完后重启
$ sudo systemctl disable firewalld #停止防火墙
$ sudo systemctl stop firewalld #禁止开机启动防火墙 $ vi /etc/selinux/config
SELINUX=disable #关闭selinux
4. 配置ntp服务与ssh免密码登陆配置,请参考我的另外2篇文档
ssh免密码配置传送门:https://www.cnblogs.com/yaowentao/p/12300321.html
ntp配置传送门:https://www.cnblogs.com/yaowentao/p/12300408.html
5. 如果有本地的yum源,就配置。如果没有就使用公网的yum源。
5.1 配置yum 本地库,也可以下载官网的repo文件,一个是从网上下载,一个是从本地yum库下载
[cloudera-repo]
name=cloudera-repo
baseurl=http://192.168.10.225/cloudera-repos/cm6/6.2.1/redhat7/yum/
enabled=
gpgcheck=
5.2 网上yum源,直接下载即可
$ sudo wget https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/cloudera-manager.repo -P /etc/yum.repos.d/
6. 安装cdh专用jdk(需要在所有主机上都要安装)
$ sudo yum -y install oracle-j2sdk1.8
7. 配置本地的mysql数据库,便于存放cdh服务器的一些配置,以及hadoop组件中需要的一些配置,如hive的源数据库。这里一般推荐用mysql,当然oracle等其他的数据库也可以。
- 直接用yum源安装
$ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
$ sudo rpm -ivh mysql-community-release-el7-.noarch.rpm
$ sudo yum update
$ sudo yum install mysql-server
$ sudo systemctl start mysqld- 配置mysql数据,并进行初始化,设置root密码
$vi /etc/my.cnf [mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
symbolic-links = key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size =
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = max_connections =
#expire_logs_days =
#max_binlog_size = 100M #log_bin should be on a disk with enough free space.
#Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your
#system and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log #In later versions of MySQL, if you enable the binary log and do not set
#a server_id, MySQL will not start. The server_id must be unique within
#the replicating group.
server_id= binlog_format = mixed read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M # InnoDB settings
innodb_file_per_table =
innodb_flush_log_at_trx_commit =
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency =
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M [mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid sql_mode=STRICT_ALL_TABLES配置开机自启动
$ sudo systemctl enable mysqld
$ sudo systemctl start mysqld- 初始化mysql,设置root密码
$ sudo /usr/bin/mysql_secure_installation
[...]
Enter current password for root (enter for none):
OK, successfully used password, moving on...
[...]
Set root password? [Y/n] Y
New password:
Re-enter new password:
Remove anonymous users? [Y/n] Y
[...]
Disallow root login remotely? [Y/n] N
[...]
Remove test database and access to it [Y/n] Y
[...]
Reload privilege tables now? [Y/n] Y
All done!安装mysql的jdbc
$ wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz
$ tar zxvf mysql-connector-java-5.1..tar.gz $ sudo mkdir -p /usr/share/java/
$ cd mysql-connector-java-5.1.
$ sudo cp mysql-connector-java-5.1.-bin.jar /usr/share/java/mysql-connector-java.jar- 给root授远程登陆权限
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '' WITH GRANT OPTION;
mysql> FLUSH PRIVILEGES;- 创建cm服务,hadoop组件需要的库。用户统一用root。
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO 'root'@'%' IDENTIFIED BY '';
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON amon.* TO 'root'@'%' IDENTIFIED BY '';
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON rman.* TO 'root'@'%' IDENTIFIED BY '';
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON hue.* TO 'root'@'%' IDENTIFIED BY '';
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON metastore.* TO 'root'@'%' IDENTIFIED BY '';
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON sentry.* TO 'root'@'%' IDENTIFIED BY '';
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON nav.* TO 'root'@'%' IDENTIFIED BY '';
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON navms.* TO 'root'@'%' IDENTIFIED BY '';
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON oozie.* TO 'root'@'%' IDENTIFIED BY '';安装cm服务器文件
master:
$ sudo yum -y install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-serversalver:
$ sudo yum -y install cloudera-manager-daemons cloudera-manager-agent- scm初始化
-
$ sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm root
-
- 完成以上配置,就能正常登陆cm服务器的前台了。下面进入服务器的配置。请看第三篇。
- 启动cm服务
$ sudo systemctl start cloudera-scm-server
$ sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
- 启动cm服务
启动成功:
各位小伙伴,对以上如有问题,请在下方留言沟通。以上都是我亲自测试通过安装成功的。
转发,请注明出处!
CDH6.2安装配置第二篇:CDH安装的前期配置的更多相关文章
- 大数据之环境准备系列 ——第二篇 新装VMware 虚拟机 网络配置(NAT模式)
新安装虚拟机,需要配置网络环境,才可以使用ssh客户端(如xshell)远程登录 和 虚拟机访问Internet. 一. WMware 软件配置 WMware版本号:11.0.0 build-2305 ...
- 我的第二篇--nginx安装问题之路径问题
这几天还是一直在搭建nginx,并且要在nginx的基础之上配置naxsi(WAF防火墙)并使它生效,但是随之而来的问题也会有很多,也许因为我是个新手,所以遇到的问题要多,不解的问题也要很多,不知道又 ...
- 构建Docker平台【第二篇】安装 Docker
第一步:上传安装包和 docker 镜像 1.安装包: docker-engine-1.12.1-1.el7.centos.x86_64.rpm docker-engine-selinux-1.12. ...
- Zabbix 客户端安装教程(第二篇)
Zabbix 客户端安装教程 blog地址:http://www.cnblogs.com/caoguo [root@localhost ~]# yum install -y gcc make [roo ...
- 第四课 Grid Control实验 GC OMS安装(第二台机器部署)
2.GC OMS安装(第二台机器部署) 1. 配置图形化 [oracle@ocm2 ~]$ xhost + access control disabled, clients can connect f ...
- 从零开始使用git第二篇:git的日常操作
从零开始使用git 第二篇:git的日常操作 第一篇:从零开始使用git第一篇:下载安装配置 第二篇:从零开始使用git第二篇:git实践操作 第三篇:从零开始使用git第三篇:git撤销操作.分支操 ...
- Docker实战 | 第二篇:IDEA集成Docker插件实现一键自动打包部署微服务项目,一劳永逸的技术手段值得一试
一. 前言 大家在自己玩微服务项目的时候,动辄十几个服务,每次修改逐一部署繁琐不说也会浪费越来越多时间,所以本篇整理通过一次性配置实现一键部署微服务,实现真正所谓的一劳永逸. 二. 配置服务器 1. ...
- Keepalived + HAProxy 搭建【第二篇】Keepalived 安装与配置
第一步:准备 1. 简介 本文搭建的是利用 Keepalived 实现 HAProxy 的热备方案,即两台主机上的 HAProxy 实例同时运行,其中全总较高的实例为 MASTER,MASTER出现异 ...
- Keepalived + HAProxy 搭建【第二篇】Keepalived 的安装与配置
第一步:准备 1. 简介 本文搭建的是利用 Keepalived 实现 HAProxy 的热备方案,即两台主机上的 HAProxy 实例同时运行,其中全总较高的实例为 MASTER,MASTER出现异 ...
随机推荐
- python 文本文件操作
文件操作三步走:打开.读写.关闭. open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, close ...
- CSV用excel打开乱码
utf-8 csv 文件用 excel 打开乱码问题 其实这个问题很久之前遇到过, 应该是没解决, 当时的情况是openoffice打开正常而excel打开不正常, 后来也没解决了, 只能把编码转了. ...
- 从MSSQL表中删除重复项
declare @ids int=1 declare @count int while @ids<471 begin select @count=COUNT(*) From LotNO wher ...
- 学习进度05(billbill长评爬取02)
今天下雪了,是个看<白色相簿2>的好日子. 昨天我们获取所有长评url,今天要解析这些url获取更多的信息随便,点开一个,我们需要的数据有标题,时间,内容.点赞数和评论先不弄了. 解析js ...
- Spring容器的创建原理
1.new ioc容器(AnnotationConfigApplicationContext 注解ioc) 2.refresh()方法调用 2.1 prepareRefresh()刷新前的预处理 a: ...
- --转载 详细介绍java中的数据结构
http://developer.51cto.com/art/201107/273003.htm 也许你已经熟练使用了java.util包里面的各种数据结构,但是我还是要说一说java版数据结构与算法 ...
- Git详细命令
Git Guidegit的三种方式只在本地使用:将本地仓库上传到Github:下载GitHub上的仓库:1.只在本地使用在Git Bush上输入命令 mkdir git-demo-1 ——创建一个目录 ...
- PlayJava SpringMVC与Struts2杂谈
一 先做一个简单对比: 1. SpringMVC的入口是Servlet,核心是DispatcherServlet,Struts2是Filter,核心是FilterDispatcher 2. Sprin ...
- 三、JavaScript之隐藏HTML元素
一.代码如下 二.点击前效果 三.点击后效果 <!DOCTYPE html> <html> <meta http-equiv="Content-Type&quo ...
- 032-session函数
<?php $username="guest1"; if(isset($username)) { session_name($username); } echo " ...