端口 Cloudera Manager,CDH组件,托管服务和第三方组件使用下表中列出的端口.在部署Cloudera Manager,CDH和托管服务以及第三方组件之前,请确保在每个系统上打开这些端口.如果您使用的是防火墙,例如iptables的 要么 firewalld,并且无法打开所有列出的端口,必须完全禁用防火墙以确保完整功能. 在随后的小节的表中,每个端口的“访问要求”列通常是“内部”或“外部”.在此上下文中,“内部”表示该端口仅用于组件之间的通信(例如HA配置中的JournalNode…

配置单用户模式 在传统的Cloudera Manager部署中,管理每台主机上的Hadoop进程的Cloudera Manager Agent以root用户身份运行.但是,某些环境会限制对root帐户的访问. Cloudera Manager 5.3及更高版本提供单用户模式,满足此类环境的要求.在单用户模式下,Cloudera Manager Agent和由Cloudera Manager管理的服务运行的所有进程将作为单个已配置的用户和组启动.单用户模式优先考虑Hadoop与系统其余部分之间的隔…

步骤1:为Cloudera Manager配置存储库 使用包管理工具安装Cloudera Manager yum 对于RHEL兼容系统, zypper对于SLES,和 apt-get对于Ubuntu.这些工具依赖于对存储库的访问来安装软件.Cloudera为CDH和Cloudera Manager安装文件维护可通过Internet访问的存储库.您还可以为无法访问Internet的主机创建自己的内部存储库. 有关为Cloudera Manager创建内部存储库的更多信息,请使用内部包存储库. 要使…

CDH基于包的安装所需的权限 以下部分描述了使用Cloudera Manager进行基于软件包的CDH安装的用户权限要求.这些要求是安装和管理包和服务的标准UNIX系统要求. 所需特权 sudo由Cloudera Manager运行的命令   所需特权 重要说明:除非另有说明,否则在需要root或sudo 访问权限时,可以使用提供root / sudo权限的其他系统(如PowerBroker). 基于包的CDH安装所需的权限 任务 需要权限 安装Cloudera Manager Server r…

下图概述了Cloudera Manager,Cloudera Navigator和Cloudera Management Service角色使用的一些端口: Cloudera Manager和Cloudera Navigator使用的端口 当对等网络分发为包裹启用,Cloudera的管理代理可以获取来自Cloudera的管理服务器或从其他代理包裹,如下所示: 用于对等包裹分发的端口 有关更多详细信息,请参阅下表.列出的所有端口都是TCP. 在下表中,Internal表示该端口仅用于组件之间的通信…

第2步:安装Java Development Kit 要安装Oracle JDK,您可以使用Cloudera Manager安装Cloudera提供的版本,也可以直接安装Oracle的其他版本. 继续阅读: 要求 使用Cloudera Manager安装JDK 手动安装JDK 要求 已安装的JDK必须是受支持的版本,如CDH和Cloudera Manager支持的JDK版本中所述. 在相同版本的JDK的Oracle必须安装在每个群集主机上. 必须安装JDK / usr / java / jdk-…

推荐的群集主机和角色分配 要点:本主题描述了Cloudera Manager管理的CDH群集的建议角色分配.您为部署选择的实际分配可能会有所不同,具体取决于工作负载的类型和数量,群集中部署的服务,硬件资源,配置和其他因素. 使用Cloudera Manager安装向导安装CDH时,Cloudera Manager会尝试根据主机中可用的资源在群集主机(分配给网关主机的角色除外)之间分配角色.您可以在向导中显示的“ 自定义角色分配”页面上更改这些分配.您也可以稍后使用Cloudera Manager…

步骤7:使用向导设置群集 完成“ 群集安装”向导后,“ 群集设置”向导将自动启动.以下部分将指导您完成向导的每个页面: 选择服务 分配角色 设置数据库 查看更改 首次运行命令 恭喜! 选择服务 “ 选择服务”页面允许您选择要安装和配置的服务.确保您具有要使用的服务的相应许可证密钥.您可以选择: 核心Hadoop(Core Hadoop) HDFS,YARN(包含MapReduce 2),ZooKeeper,Oozie,Hive和Hue 核心与HBase(Core with HBase) HDFS…

步骤5:设置Cloudera Manager数据库 Cloudera Manager Server包含一个可以为自己创建和配置数据库的脚本.该脚本可以: 创建Cloudera Manager Server数据库配置文件. (MariaDB,MySQL和PostgreSQL)为Cloudera Manager Server创建和配置数据库以供使用. (MariaDB,MySQL和PostgreSQL)为Cloudera Manager Server创建和配置用户帐户. 虽然脚本可以创建数据库,但以…

第6步:安装CDH和其他软件 设置Cloudera Manager数据库后,启动Cloudera Manager Server,然后登录Cloudera Manager Admin Console: 启动Cloudera Manager Server: RHEL 7兼容: sudo systemctl start cloudera-scm-server 兼容RHEL 6,Ubuntu,SLES: sudo service cloudera-scm-server start 等待几分钟,以启动Cl…