大数据开源平台CDH 集群(CM6.3.1 + CDH 6.3.2)的部署
一,概述
我依照博文:https://www.cnblogs.com/liugp/p/16286645.html ,进行了CDH集群的部署。总体来说,基本比较顺利。
在部署过程中,发生了一些小问题。本文以原博主的步骤 进行说明,详细说明我在部署过程中遇到的问题以及解决方法。
l
二,机器环境配置
以下步骤默认为集群内每个机器进行配置。单独为master机器的配置将另行标明。
1、机器信息
2、修改主机名
这一步应该配置主机名为“全限定主机名( fully qualified domain name (FQDN) )” ,比如 foo-1.example.com 。随后,可添加“非全限定名称” :foo-1
sudo hostnamectl set-hostname foo-1.example.com
配置FQDN, 后续在 CM安装web “配置主机”页面上,可以主动搜寻到“受管机器” 。
在这一步之后,我增加了一个步骤:
2.1 配置 /etc/sysconfig/network 文件, 使用“全限定名”。
HOSTNAME=foo-1.example.com
3、配置/etc/hosts , 举例如下
1.1.1.1 foo-1.example.com foo-1
2.2.2.2 foo-2.example.com foo-2
3.3.3.3 foo-3.example.com foo-3
4、关掉防火墙
5、禁用SELINUX
6、时间同步
7、安装python
8、端口
9、配置免密登录
9、安装JDK
10、交换分区和大页设置
三, 安装CM前期准备
1、组件版本
2、安装Mysql(CDH master节点)
3、为 Cloudera 各软件创建数据库(CDH master节点)
4、安装 MySQL JDBC
三, 安装 CM Server 和 CM Agent
原博客:5、启动CM服务(CM节点)
$ systemctl start cloudera-scm-server
$ systemctl status cloudera-scm-server
$ jps
# 会启动端口7180的服务,服务启动有点慢,需要等待一段时间
netstat -tnlp|grep 7180
# 日志目录:/var/log/cloudera-scm-server/
可以通过日志,查看启动情况,如果有异常,可以定位问题。
sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
当出现:INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server. 表示启动成功。
四,通过CM web安装CDH 6.3.2
原博客第4步 : 选择集群机器:
如果之前没有配置“全限定机器名” ,“当前管理的机器” 不能找到集群内节点机器,并且要求你再次安装 cloudera-manager-agent
五,补充:下载发布一个Parcels本地仓库
以上步骤已经完成了集群部署。我这里补充下,官方文档里下载发布一个本地仓库的步骤。
1,下载和发布Parcels 本地仓库。(CM master机器)
注意:cloudera 官方软件库已经不支持下载,需要付费。(文件夹:/var/www/html/cloudera-repos 为本地仓库目录)
sudo mkdir -p /var/www/html/cloudera-repos
sudo wget --recursive --no-parent --no-host-directories https://USERNAME:PASSWORD@archive.cloudera.com/p/cdh6/CDH version/parcels/ -P /var/www/html/cloudera-repos
sudo wget --recursive --no-parent --no-host-directories https://USERNAME:PASSWORD@archive.cloudera.com/gplextras6/CDH version/parcels/ -P /var/www/html/cloudera-repos
sudo chmod -R ugo+rX /var/www/html/cloudera-repos/cdh6
sudo chmod -R ugo+rX /var/www/html/cloudera-repos/gplextras6
2,使用一个本地Parcels 本地仓库
2.1,进入 Cloudera Manager Admin 控制web页面,找到Parcels 页面。
2.2,在配置页面,配置本地Parcles路径;
2.3, 回到本地机器(CM master机器)Parcles路径下, 为你的Parcels创建一个 SHA1 哈希文件。举例:parcels为 CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel
sha1sum CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel | awk '{ print $1 }' > CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha
2.4,最后页面点击“ 检查确认新的 Parcels” 文件。
参考:
1,大数据Hadoop之——Cloudera Hadoop(CM 6.3.1+CDH 6.3.2)环境部署
大数据开源平台CDH 集群(CM6.3.1 + CDH 6.3.2)的部署的更多相关文章
- 大数据【一】集群配置及ssh免密认证
八月迷情,这个月会对大数据进行一个快速的了解学习. 一.所需工具简介 首先我是在大数据实验一体机上进行集群管理学习,管理五台实验机,分别为master,slave1,slave2,slave3,cli ...
- 大数据: 完全分布式Hadoop集群-HBase安装
HBase 是一个开源的非关系(NoSQL)的可伸缩性分布式数据库.它是面向列的,并适合于存储超大型松散数据.HBase适合于实时,随机对Big数据进行读写操作的业务环境. 本文基 ...
- 大数据 -- zookeeper和kafka集群环境搭建
一 运行环境 从阿里云申请三台云服务器,这里我使用了两个不同的阿里云账号去申请云服务器.我们配置三台主机名分别为zy1,zy2,zy3. 我们通过阿里云可以获取主机的公网ip地址,如下: 通过secu ...
- 大数据学习之hdfs集群安装部署04
1-> 集群的准备工作 1)关闭防火墙(进行远程连接) systemctl stop firewalld systemctl -disable firewalld 2)永久修改设置主机名 vi ...
- 【大数据系列】hadoop集群设置官方文档翻译
Hadoop Cluster Setup Purpose Prerequisites Installation Configuring Hadoop in Non-Secure Mode Config ...
- 大数据之Linux服务器集群搭建
之前写过一篇关于Linux服务器系统的安装与网关的配置,那么现在我们要进一步的搭建多台Linux服务器集群. 关于单台服务器的系统搭建配置就不在赘述了,详情见https://www.cnblogs.c ...
- 【大数据系列】hadoop集群的配置
一.hadoop的配置文件分类 1.只读类型的默认文件 core-default.xml hdfs-default.xml mapred-default.xml mapred-que ...
- 大数据学习——hadoop2.x集群搭建
1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### ...
- CDH集群安装&测试总结
0.绪论 之前完全没有接触过大数据相关的东西,都是书上啊,媒体上各种吹嘘啊,我对大数据,集群啊,分布式计算等等概念真是高山仰止,充满了仰望之情,觉得这些东西是这样的: 当我搭建的过程中,发现这些东西是 ...
- Cloudera Manager安装_搭建CDH集群
2017年2月22日, 星期三 Cloudera Manager安装_搭建CDH集群 cpu 内存16G 内存12G 内存8G 默认单核单线 CDH1_node9 Server || Agent ...
随机推荐
- 线程基础知识11-CAS+自旋锁
1.CAS是什么(CompareAndSet) CAS(Compare and swap)比较和替换是设计并发算法时用到的一种技术.简单来说,比较和替换是使用一个期望值和一个变量的当前值进行比较,如果 ...
- Kinsoku jikou desu新浪股票接口变动
1.问题原因 新浪股票接口返回如标题所示值:Kinsoku jikou desu! http://hq.sinajs.cn/list=code 新浪股票的接口变动,需要在请求头中添加Referer值. ...
- js实现一二级域名共享cookie
前言 最近接手的项目中 ,有人反馈了一个问题,说是在访问网站并登录后,登录成功有登录信息,但是刷新页面后重定向到了登录页面,让从新登录. 打开 goole 调试页面,查看 cookie 时发现存储的相 ...
- 样本熵(SampEn)的C/C++代码实现与优化
正文 本文不介绍什么是样本熵,具体推荐看此文https://blog.csdn.net/Cratial/article/details/79742363,写的很好,里面的示例也被我拿来测试代码写的对不 ...
- Zabbix监控阿里云SLB操作指引
1. SLB介绍 阿里云负载均衡(Server Load Balancer,简称SLB)是云原生时代应用高可用的基本要素.通过将流量分发到不同的后端服务来扩展应用系统的服务吞吐能力,消除单点故障并提升 ...
- PHP的25种框架
本篇文章给大家分享的内容是25种PHP框架 -有着一定的参考价值,有需要的朋友可以参考一下. 世界流行框架汇总 在项目开发中,一些架构和代码都是重复的,为了避免重复劳动,于是各种各样的框架诞生了. 在 ...
- 2020-6-2 map?
问题描述 试题编号: 202006-2 试题名称: 稀疏向量 时间限制: 2.0s 内存限制: 512.0MB 问题描述: #include<stdio.h>//数据量很大,所 ...
- CPU持续100%分析并解决
背景 接到客户电话,说某系统数据库服务器CPU利用率从上午8点开始到现在基本上都是100%的情况,影响到了业务.让给看看是什么原因导致的,怎么紧急处理一下. 现象 查看CPU利用率,确实一直是90%以 ...
- 浏览器调试工具devtool
视频网址 先打开devtool,再打开命令菜单.可以用screenshot来截屏 $0:先在element点击元素,再在控制台输入$0,这个$0代表element中选中的DOM元素. $1,$2... ...
- 微信小程序分享百度网盘文件的实现思路
需求: 在小程序中点击按钮,获取百度网盘文件的下载地址. 实现思路: 1.网盘文件的下载地址,使用官方API只能自己下载,别人通过dlink无法下载,所以采用网页端生成接口. 好处是可以自定义提取码, ...