Cloudera
官方文档: http://www.cloudera.com/content/cloudera/en/documentation/core/latest/
博客教程 http://www.wangyongkui.com/hadoop-cdh5/
http://www.aboutyun.com/thread-9190-1-1.html
http://www.linuxidc.com/Linux/2014-03/98842.htm
CDH(Cloudera Distribution Hadoop)
官方教程 http://www.cloudera.com/content/cloudera/en/downloads/cdh/
在线安装
从网站下的one-click-install目录选择对应的Linux系统版本号,自动添加安装源和进行相关配置,然后根据机器的功能进行下面的安装
Resource Manager host :
sudo apt-get update; sudo apt-get install hadoop-yarn-resourcemanager
NameNode host running:
sudo apt-get install hadoop-hdfs-namenode
Secondary NameNode host (if used) running:
sudo apt-get install hadoop-hdfs-secondarynamenode
All cluster hosts except the Resource Manager running:
sudo apt-get install hadoop-yarn-nodemanager hadoop-hdfs-datanode hadoop-mapreduce
One host in the cluster running:
sudo apt-get install hadoop-mapreduce-historyserver hadoop-yarn-proxyserver
All client hosts running:
sudo apt-get install hadoop-client
离线安装
http://archive.cloudera.com/cdh5/cdh/5/ 独立功能包下载,不推荐,需要时间识别文件版本和安装到对应目录
http://archive.cloudera.com/cdh5/parcels/ 完整功能包 在Cloudera Manager中使用来部署
下载好相应系统版本的.parcel文件后,拷贝到本地的parcel源目录下(由Cloudera Manager Server指定,默认是/opt/cloudera/parcel-repo)
然后打开同目录下的mainfest.json(也要拷贝到其中)文件,从里面搜索到与你下载的包同名的部分,然后根据其hash值创建一个后缀名为.sha的文本文件,名字与下载的parcel同名,然后将sha文件也拷贝到本地parcel源的目录下。例如:
# cat > CDH-4.3.-.cdh4.3.0.p0.-el6.parcel.sha
df5cc61b2d257aaf625341f709a4f8e09754038a
总之,要确保/opt/cloudera/parcel-repo下面有三个文件:
CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel
mainfest.json
CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel.sha
cloudera-manager安装
离线安装文件目录http://archive.cloudera.com/cm5/cm/5/
下载tar.gz 解压
sudo tar -zxvf cloudera-manager-trusty-cm5..1_amd64.tar.gz -C /opt/cloudera
添加用户
sudo useradd --system --home=/opt/cloudera/cm-5.2./run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
配置服务器ip和端口(单机测试无须此步骤)
修改/etc/cloudera-scm-agent/config.ini 下面的 server_port 和 server_host
配置mysql数据库
从http://www.mysql.com/products/connector/下载JDBC,复制到CM目录下./share/cmf/lib
sudo cp /home/manhua/下载/mysql-connector-java-5.1.-bin.jar ./share/cmf/lib/
生成数据库
sudo apt-get install mysql-server
sudo ./share/cmf/schema/scm_prepare_database.sh mysql scm -h localhost -u root -p root
install ssh
create no password sudo user
https://help.ubuntu.com/community/RootSudo
sudo visudo ,add the following to the END of the file
<username> ALL=NOPASSWD: ALL
由于我用的是linux mint,所以在安装时它会拒绝,需要修改lsb
sudo gedit /etc/lsb-release
DISTRIB_ID=LinuxMint
DISTRIB_RELEASE=17.1
DISTRIB_CODENAME=rebecca
DISTRIB_DESCRIPTION="Linux Mint 17.1 Rebecca"
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=14.04
DISTRIB_CODENAME=trusty
DISTRIB_DESCRIPTION="Linux Mint 17.1 Rebecca"
启动
sudo ./etc/init.d/cloudera-scm-server start
其中对于agents,scp复制CM的整个目录到相同位置后,运行
sudo ./etc/init.d/cloudera-scm-agent start
启动 Cloudera Manager 管理控制台
http://localhost:7180
用户名密码均为admin
然后用上面下载的cdh的parcel文件来安装
Cloudera的更多相关文章
- 免安裝、免設定的 Hadoop 開發環境 - cloudera 的 QuickStart VM
cloudera 的 QuickStart VM,為一種免安裝.免設定 Linux 及 Hadoop,已幫你建好 CDH 5.x.Hadoop.Eclipse 的一個虛擬機環境.下載後解壓縮,可直接以 ...
- cloudera learning7:Hadoop资源管理
Linux Control Groups(cgroups):在操作系统级别进行资源分配,可通过Cloudera Static Service Pools配置. YARN调度器配置:对运行在YARN上的 ...
- cloudera learning4:Hadoop集群规划
涉及到一些关于硬件的东西,我也不是很懂,记录下来有待以后学习. Hadoop集群一般都是由小到大,刚开始可能只有4到6个节点,随着存储数据的增加,计算量的增大,内存需求的增加,集群慢慢变大. 比如按照 ...
- cloudera learning3:Hadoop配置和守护进程logs
Services:Haddoop cluster上可以部署的组件,比如HDFS,YARN,HBase等. Roles:在service配置时,由Cloudera Manager创建.比如NameNod ...
- cloudera learning1:cloudera简介及安装
cloudera分为两个部分:CDH和CM.CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Had ...
- 通过Cloudera在hadoop生态圈中安装Sentry服务。
写在张文章时,差点辣死我了.把sentry数据库密码搞掉了,导致hive,impala,hue都挂了.此事要引以为戒,以后要小心操作了. 安装Sentry服务 a) 在c ...
- cloudera cdh native lib
如果通过命令行的方式安装cloudera 版本的hadoop,下载它的cdh版本. 解压后执行,你会发现报warning,没有native的库,lib/native是空的. 如何获取native的文件 ...
- 离线安装 Cloudera ( CDH 5.x )
要配置生产环境前,最好严格按照官方文档/说明配置环境.比如,官方说这个安装包用于RETHAT6, CENTOS6,那就要装到6的版本下,不然很容易出现各种各样的错. 配置这个CDH5我入了很多坑,最重 ...
- Cloudera Manager 5和CDH5离线安装
CDH (Cloudera’s Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Had ...
- 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...
随机推荐
- c#byte数组和string类型转换
http://blog.csdn.net/rowanhaoa/article/details/42144313/ 用system.text中的encoding这个类
- Hibernate逆向工程生成代码
编辑此文章,其目的是方便以后根据表生成相应的代码,然而并非所有的代码都是如此.这里的Hibernate 即响应题目的ssh框架中的“h”. 如图所示,点击右上角,在myeclipse之中.再点击Mye ...
- 关于 react state的改变数据上面的一点问题
在react当中 比如说 this.state = { loginInfo: { account: "...", password: "..." } } thi ...
- iOS 代理为啥要用weak修饰?
在开发中我们经常使用代理,或自己写个代理,而代理属性都用weak(assign)修饰,看过有些开发者用strong(retain),但并没发现有何不妥,也不清楚weak(assign)与strong( ...
- 适配IPhone X的技巧
#define TabbarHeight ([[UIApplication sharedApplication] statusBarFrame].size.height>20?83:49) // ...
- JavaScript (JS) 函数补充 (含arguments、eval()、四种调用模式)
1. 程序异常 ① try-catch语法 测试异常 try-catch语法代码如下: try { 异常代码; try中可以承重异常代码, console.log(“try”) 出现异 ...
- CodeForces 605 E. Intergalaxy Trips
E. Intergalaxy Trips time limit per test:2 seconds memory limit per test:256 megabytes input:standar ...
- 后缀数组基本问题QAQ
以下题目均来自罗穗骞的论文... No.1最长公共前缀 最长公共前缀: 题目: 给定一个字符串,询问某两个后缀的最长公共前缀. 分析: 某两个后缀的最长公共前缀就是区间height最小值,转化为RMQ ...
- 多个电脑之间使用相同的ssh密钥
首先我们给最先创建的密钥的电脑取名为OLD, 给后创建的密钥的电脑取名为NEW,在OLD上创建密钥,文件默认保存在 ~/.ssh/ 中: ssh-keygen –t rsa –C "your ...
- manjao linux下玩转arduino
自从入手arduinon差不多半个月了,在window下几乎没有任何问题,下载,编程,编译,上传,运行.几乎没有任何问题.在linux编译成功,上传时下却总是提示找不到libncurses.so.5无 ...