2-10 就业课(2.0)-oozie:12、cm环境搭建的基础环境准备
8、clouderaManager5.14.0环境安装搭建
Cloudera Manager是cloudera公司提供的一种大数据的解决方案,可以通过ClouderaManager管理界面来对我们的集群进行安装和操作,提供了良好的UI界面交互,使得我们管理集群不用熟悉任何的linux技术,只需要通过网页浏览器就可以实现我们的集群的操作和管理,让我们使用和管理集群更加的方便。
1、ClouderaManager整体架构
Cloudera Manager的核心是Cloudera Manager Server。Server托管Admin Console Web Server和应用程序逻辑。它负责安装软件、配置、启动和停止服务以及管理运行服务的群集。
解释:
- Agent:安装在每台主机上。它负责启动和停止进程,解压缩配置,触发安装和监控主机
- Management Service:执行各种监控、报警和报告功能的一组角色的服务。
- Database:存储配置和监控信息
- Cloudera Repository:可供Cloudera Manager分配的软件的存储库(repo库)
- Client:用于与服务器进行交互的接口:
- Admin Console:管理员控制台
- API:开发人员使用
API可以创建自定义的Cloudera Manager应用程序
Cloudera Management
Service
Cloudera Management Service 可作为一组角色实施各种管理功能
- Activity Monitor:收集有关服务运行的活动的信息
- Host Monitor:收集有关主机的运行状况和指标信息
- Service Monitor:收集有关服务的运行状况和指标信息
- Event Server:聚合组件的事件并将其用于警报和搜索
- Alert Publisher :为特定类型的事件生成和提供警报
- Reports Manager:生成图表报告,它提供用户、用户组的目录的磁盘使用率、磁盘、io等历史视图
信号检测
默认情况下,Agent 每隔 15 秒向 Cloudera Manager Server
发送一次检测信号。但是,为了减少用户延迟,在状态变化时会提高频率。
状态管理
- 模型状态捕获什么进程应在何处运行以及具有什么配置
- 运行时状态是哪些进程正在何处运行以及正在执行哪些命令(例如,重新平衡
HDFS 或执行备份/灾难恢复计划或滚动升级或停止) - 当您更新配置(例如Hue Server Web 端口)时,您即更新了模型状态。但是,如果 Hue 在更新时正在运行,则它仍将使用旧端口。当出现这种不匹配情况时,角色会标记为具有”过时的配置”。要重新同步,您需重启角色(这会触发重新生成配置和重启进程)
- 特殊情况如果要加入一些clouder manager控制台没有的属性时候都在高级里面嵌入
服务器和客户端配置
- 如使用HDFS,文件
/etc/hadoop/conf/hdfs-site.xml 仅包含与 HDFS 客户端相关的配置 - 而 HDFS 角色实例(例如,NameNode 和 DataNode)会从/var/run/cloudera-scm-agent/process/unique-process-name下的每个进程专用目录获取它们的配置
进程管理
- 在 Cloudera Manager 管理的群集中,只能通过 Cloudera Manager 启动或停止服务。ClouderaManager 使用一种名为
supervisord的开源进程管理工具,它会重定向日志文件,通知进程失败,为合适用户设置调用进程的有效用户 ID 等等 - Cloudera Manager 支持自动重启崩溃进程。如果一个角色实例在启动后反复失败,Cloudera Manager还会用不良状态标记该实例
- 特别需要注意的是,停止 Cloudera Manager 和
Cloudera Manager Agent 不会停止群集;所有正在运行的实例都将保持运行 - Agent 的一项主要职责是启动和停止进程。当 Agent 从检测信号检测到新进程时,Agent 会在/var/run/cloudera-scm-agent
中为它创建一个目录,并解压缩配置 - Agent 受到监控,属于
Cloudera Manager 的主机监控的一部分:如果 Agent 停止检测信号,主机将被标记为运行状况不良
主机管理
- Cloudera Manager 自动将作为群集中的托管主机身份:JDK、Cloudera Manager Agent、CDH、Impala、Solr
等参与所需的所有软件部署到主机 - Cloudera Manager 提供用于管理参与主机生命周期的操作以及添加和删除主机的操作
- Cloudera Management Service
Host Monitor 角色执行运行状况检查并收集主机度量,以使您可以监控主机的运行状况和性能
安全
- 身份验证
- Hadoop中身份验证的目的仅仅是证明用户或服务确实是他或她所声称的用户或服务,通常,企业中的身份验证通过单个分布式系统(例如,轻型目录访问协议 (LDAP) 目录)进行管理。LDAP身份验证包含由各种存储系统提供支持的简单用户名/密码服务
- Hadoop 生态系统的许多组件会汇总到一起来使用 Kerberos 身份验证并提供用于在 LDAP 或
AD 中管理和存储凭据的选项
授权
CDH 当前提供以下形式的访问控制:
- 适用于目录和文件的传统 POSIX 样式的权限
- 适用于 HDFS 的扩展的访问控制列表 (ACL)
- Apache HBase 使用
ACL 来按列、列族和列族限定符授权各种操作 (READ, WRITE, CREATE, ADMIN) - 使用 Apache Sentry 基于角色进行访问控制
加密
- 需要获得企业版的Cloudera(Cloudera
Navigator 许可)
2、clouderaManager环境安装前准备
准备两台虚拟机,其中一台作为我们的主节点,安装我们的ClouderaManager Server与ClouderaManager agent,另外一台作为我们的从节点只安装我们的clouderaManager agent
机器规划如下
服务器IP |
192.168.52.100 |
192.168.52.110 |
主机名 |
node01.hadoop.com |
node02.hadoop.com |
主机名与IP地址映射 |
是 |
是 |
防火墙 |
关闭 |
关闭 |
selinux |
关闭 |
关闭 |
jdk |
安装 |
安装 |
ssh免密码登录 |
是 |
是 |
mysql数据库 |
否 |
是 |
服务器内存 |
16G |
8G |
所有机器统一两个路径
mkdir -p /export/softwares/
mkdir -p /export/servers/
2.1、两台机器更改主机名
第一台机器更改主机名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node01.hadoop.com
第二台机器更改主机名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node02.hadoop.com
2.2、更改主机名与IP地址的映射
两台机器更改hosts文件
vim /etc/hosts
192.168.52.100 node01.hadoop.com
192.168.52.110 node02.hadoop.com
2.3、两台机器关闭防火墙
service iptables stop
chkconfig iptables off
2.4、两台机器关闭selinux
vim /etc/selinux/config
SELINUX=disabled
2.5、两台机器安装jdk
将我们的jdk的压缩包上传到node01.hadoop.com的/export/softwares路径下
cd /export/softwares/
tar -zxvf jdk-8u141-linux-x64.tar.gz -C /export/servers/
配置环境变量
vim /etc/profile
export JAVA_HOME=/export/servers/jdk1.8.0_141
export PATH=:$JAVA_HOME/bin:$PATH
source /etc/profile
第二台机器同样安装jdk即可
2.6、两台机器实现SSH免密码登录
第一步:两台器生成公钥与私钥
两台机器上面执行以下命令,然后按下三个回车键即可生成公钥与私钥
ssh-keygen -t rsa
第二步:两台机器将公钥拷贝到同一个文件当中去
两台机器执行以下命令
ssh-copy-id node01.hadoop.com
第三步:拷贝authorized_keys到其他机器
第一台机器上将authorized_keys拷贝到第二台机器
scp /root/.ssh/authorized_keys node02.hadoop.com:/root/.ssh/
2.7、第二台机器安装mysql数据库
通过yum源,在线安装mysql
yum install mysql mysql-server mysql-devel
/etc/init.d/mysqld start
/usr/bin/mysql_secure_installation
进入mysql客户端执行以下命令
grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
flush privileges;
2.8、解除linux系统打开文件最大数量的限制
两台机器都需要执行
vi /etc/security/limits.conf
添加以下内容
* soft noproc 11000
* hard noproc 11000
* soft nofile 65535
* hard nofile 65535
2.9、设置linux交换区内存
两台机器都要执行
执行命令
echo 10 > /proc/sys/vm/swappiness
并编辑文件sysctl.conf:
vim /etc/sysctl.conf
添加或修改
vm.swappiness = 0
两台机器都要执行:
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
并编辑文件rc.local :
vim /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
2.10、两台机器时钟同步
两台机器需要进行时钟同步操作,保证两台机器时间相同
crontab –e
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;
2.11、两台服务器关闭防火墙
service iptables stop
chkconfig iptables off
服务器关机重启
2-10 就业课(2.0)-oozie:12、cm环境搭建的基础环境准备的更多相关文章
- 2-10 就业课(2.0)-oozie:10、伪分布式环境转换为HA集群环境
hadoop 的基础环境增强 HA模式 HA是为了保证我们的业务 系统 7 *24 的连续的高可用提出来的一种解决办法,现在hadoop当中的主节点,namenode以及resourceManager ...
- 2-10 就业课(2.0)-oozie:13、14、clouderaManager的服务搭建
3.clouderaManager安装资源下载 第一步:下载安装资源并上传到服务器 我们这里安装CM5.14.0这个版本,需要下载以下这些资源,一共是四个文件即可 下载cm5的压缩包 下载地址:htt ...
- 2-10 就业课(2.0)-oozie:2、介绍和安装1
oozie的安装及使用 1. oozie的介绍 Oozie是运行在hadoop平台上的一种工作流调度引擎,它可以用来调度与管理hadoop任务,如,MapReduce.Pig等.那么,对于Oozie ...
- 2-10 就业课(2.0)-oozie:9、oozie与hue的整合,以及整合后执行MR任务
5.hue整合oozie 第一步:停止oozie与hue的进程 通过命令停止oozie与hue的进程,准备修改oozie与hue的配置文件 第二步:修改oozie的配置文件(老版本的bug,新版本已经 ...
- 2-10 就业课(2.0)-oozie:8、定时任务的执行
4.5.oozie的任务调度,定时任务执行 在oozie当中,主要是通过Coordinator 来实现任务的定时调度,与我们的workflow类似的,Coordinator 这个模块也是主要通过xml ...
- 2-10 就业课(2.0)-oozie:5、通过oozie执行hive的任务
4.2.使用oozie调度我们的hive 第一步:拷贝hive的案例模板 cd /export/servers/oozie-4.1.0-cdh5.14.0 cp -ra examples/apps/h ...
- 2-10 就业课(2.0)-oozie:7、job任务的串联
4.4.oozie的任务串联 在实际工作当中,肯定会存在多个任务需要执行,并且存在上一个任务的输出结果作为下一个任务的输入数据这样的情况,所以我们需要在workflow.xml配置文件当中配置多个ac ...
- 2-10 就业课(2.0)-oozie:6、通过oozie执行mr任务,以及执行sqoop任务的解决思路
执行sqoop任务的解决思路(目前的问题是sqoop只安装在node03上,而oozie会随机分配一个节点来执行任务): ======================================= ...
- 2-10 就业课(2.0)-oozie:4、通过oozie执行shell脚本
oozie的配置文件job.properties:里面主要定义的是一些key,value对,定义了一些变量,这些变量往workflow.xml里面传递workflow.xml :workflow的配置 ...
随机推荐
- redhat 7.6 流量监控命令、软件(2) iftop 监控网络IP实时流量
1.安装iftop,先要安装flex.bison.libpcap编译安装 解压红箭头的两个文件 tar -zxvpf iftop-0.16.tar.gz tar -zxvpf libpcap ...
- 1123. Lowest Common Ancestor of Deepest Leaves
link to problem Description: Given a rooted binary tree, return the lowest common ancestor of its de ...
- 【协作式原创】查漏补缺之Golang中mutex源码实现
概览最简单版的mutex(go1.3版本) 预备知识 主要结构体 type Mutex struct { state int32 // 指代mutex锁当前的状态 sema uint32 // 信号量 ...
- PAT T1022 Werewolf
暴力搜索加剪枝~ #include<bits/stdc++.h> using namespace std; ; int a[maxn]; bool visit[maxn]; vector& ...
- 02-03Android学习进度报告三
今天主要学习了线性布局和相对布局的概念和区别,以及线性布局和相对布局的优缺点. 经过搜素发现,我们屏幕适配的使用用的比较多的就是LinearLayout的权重属性weight,我 学习了一些 Line ...
- Sping IOC容器
Sping IOC容器 package servlet; import org.springframework.context.ApplicationContext; import org.sprin ...
- 物联网协议CoAP协议学习
CoAP:Constrained Application Protocol协议是为物联网中资源受限的设备制定的应用层协议,即简化版的基于UDP的HTTP协议.其核心内容为资源抽象.REST式交互可扩展 ...
- Atcoder Beginner Contest 139E(模拟,思维)
#define HAVE_STRUCT_TIMESPEC#include<bits/stdc++.h>using namespace std;int n;int a[1007][1007] ...
- 五、linux基础-shell机制
5.1 shell机制1.Linux命令程序员可以看懂,但是操作系统是不懂这句话的含义的.因为所有的命令必须重新被解释然后传递给Linux内核才可以执行.这一被解释的机制就是shell. Linux命 ...
- RHEL6配置CentOS yum源
RHEL6配置CentOS yum源