apache hadoop 伪分布式安装
1. 准备工作
1.1. 软件准备
1、安装VMWare
2、在VMWare上安装CentOS6.5
3、安装XShell5,用来远程登录系统
4、通过rpm -qa | grep ssh 检查cent os 是否安装了ssh server和ssh client ,然后使用ssh localhost测试一下SSH是否可用。
如果没有安装那么使用下面的命令安装:
yum install openssh-clients yum install openssh-server yum install openssh-clients yum install openssh-server
5、使用XShell远程登录服务器,接下来的操作就在XShell上通过命令行来执行了。虚拟机中的服务器可以过ifconfig这个命令来获取分配的ip地址(这个地址可能随着虚拟机的重启会发生变化)。
1.2. 创建hadoop用户
当前虚拟机中没有安装任何软件,那么我们的目的是搭建一个Hadoop单机模式,那么首先需要在集群中建立一个hadoop用户,用来启动Hadoop的进程,这样避免使用root用户启动进程,这也是比较规范的服务器用户管理,所以下面先创建hadoop用户:
useradd -m hadoop -s /bin/bash
passwd hadoop #为hadoop用户设置密码 useradd -m hadoop -s /bin/bash passwd hadoop #为hadoop用户设置密码
接下来的安装过程中会涉及到root用户和hadoop用户的切换,请大家注意!!!
1.3. 配置SSH无密码访问
在准备工作中我们已经安装配置了SSH客户端和服务器,集群和单节点模式都需要到SSH,Hadoop中namenode需要启动集群中的所有机器的Hadoop守护进程,而这个过程需要通过SSH登录来实现。而Hadoop并没有提供SSH输入密码的登录形式,因此为了保证可以顺利登录每台机器,需要将所有机器配置为namenode可以无密码登录它们。实际中配置失败也可以运行,但是每次输入密码是非常麻烦的,所以我们需要配置SSH的无密码访问(注意无密码访问是为hadoop用户配置的,故以下操作需要在hadoop用户下完成):
1. 首先我们需要进入/home/hadoop/.ssh目录下,如果这个目录不存在,需要执行一下ssh localhost 这样就会生成这个目录。
2. 执行以下命令,创建密钥并且将密钥加入授权:
cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost ssh-keygen -t dsa # 会有提示,都按回车就可以 cat id_dsa.pub >> authorized_keys # 加入授权 chmod 600 ./authorized_keys # 修改文件权限,如果不改,无法通过,原因好像是cent os的权限验证比较严格 cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost ssh-keygen -t dsa # 会有提示,都按回车就可以 cat id_dsa.pub >> authorized_keys # 加入授权 chmod 600 ./authorized_keys # 修改文件权限,如果不改,无法通过,原因好像是cent os的权限验证比较严格
3. 切换到hdoop用户,接下来,输入ssh localhost测试一下无密码登录,直接enter就可以,无需密码
1.4. 安装JAVA环境
将jdk安装包复制到/tmp目录,然后解压到/usr/java目录中
tar zxvf jdk-8u131-linux-x64.tar.gz -C /usr/java
解压完成后发现生成了jdk目录
[root@cluster02 tmp]# cd /usr/java/
[root@cluster02 java]# ls
jdk1.8.0_131
[root@cluster02 java]#
修改/etc/profile配置java路径
JAVA_HOME=/usr/java/jdk1.8.0_131 export JAVA_HOME PATH=$JAVA_HOME/bin:$PATH export PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export CLASSPATH
2. 单机模式安装
1) 通过xftp将本地hadoop安装包和mds文件发送到服务器/home/hadoop目录下,然后验证tar包的完整性;若文件不完整则这两个值一般差别很大,可以简单对比下前几个字符跟后几个字符是否相等即可,如下图所示,如果两个值不一样,请务必重新下载。
<span style="font-size:18px;">cat hadoop-2.6.0.tar.gz.mds | grep 'MD5' md5sum hadoop-2.6.0.tar.gz | tr "a-z" "A-Z"</span> <span style="font-size:18px;">cat hadoop-2.6.0.tar.gz.mds | grep 'MD5' md5sum hadoop-2.6.0.tar.gz | tr "a-z" "A-Z"</span>
Hadoop下载地址:
http://archive.apache.org/dist/hadoop/core/
2) 使用root账号,进入/home/hadoop目录下,解压安装文件到/usr/local/hadoop下
tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local
3) 修改权限
mv hadoop-2.6.0/ hadoop/ #更改文件夹名称 chown -R hadoop:hadoop ./hadoop #修改权限 mv hadoop-2.6.0/ hadoop/ #更改文件夹名称 chown -R hadoop:hadoop ./hadoop #修改权限
4) 验证单机模式是否安装成功,进入/usr/local/hadoop/bin目录下,执行./hadoop -version
5) 执行一个小例子
Hadoop 默认模式为非分布式模式,无需进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试。
现在我们可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子(运行./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子),包括 wordcount、terasort、join、grep 等。
在此我们选择运行 grep 例子,我们将 input 文件夹中的所有文件作为输入,筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数,最后输出结果到 output 文件夹中。
cd /usr/local/hadoop mkdir ./input cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+' cat ./output/* # 查看运行结果 cd /usr/local/hadoop mkdir ./input cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+' cat ./output/* # 查看运行结果
6) 为了便于Hadoop的操作,我们在为hadoop用户添加环境变量,让用户可以在任何地方执行hadoop命令,我们修改~/.bashrc文件配置,在最后添加以下命令,并且使生效(source ~/.bashrc):
export HADOOP_HOME=/usr/local/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
3. 伪分布式安装
前提:已经安装完成单机模式。
伪分布式只需要在单机模式的基础上改两个配置文件并且格式化namenode即可。
vim /usr/local/hadoop/etc/hadoop/core-site.xml
<property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://host1:9000</value> </property>
Hdfs-site.xml
<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property>
(伪分布式不启动 YARN 也可以,一般不会影响程序执行)
有的读者可能会疑惑,怎么启动 Hadoop 后,见不到书上所说的 JobTracker 和 TaskTracker,这是因为新版的 Hadoop 使用了新的 MapReduce 框架(MapReduce V2,也称为 YARN,Yet Another Resource Negotiator)。
YARN 是从 MapReduce 中分离出来的,负责资源管理与任务调度。YARN 运行于 MapReduce 之上,提供了高可用性、高扩展性,YARN 的更多介绍在此不展开,有兴趣的可查阅相关资料。
上述通过 ./sbin/start-dfs.sh 启动 Hadoop,仅仅是启动了 MapReduce 环境,我们可以启动 YARN ,让 YARN 来负责资源管理与任务调度。
首先修改配置文件 mapred-site.xml,这边需要先进行重命名:
mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
然后再进行编辑,同样使用 gedit 编辑会比较方便些 gedit ./etc/hadoop/mapred-site.xml :
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://hadoop01:9001</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
接着修改配置文件 yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
分别修改/usr/local/hadoop/etc/hadoop下的hadoop-env.sh和yarn-env.sh:
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.85.x86_64 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
格式化namenode:
hdfs namenode -format
成功的话,会看到 successfully formatted 的提示,且倒数第5行的提示如下,Exitting with status 0 表示成功,若为 Exitting with status 1 则是出错。若出错,请仔细检查之前步骤。
start-all.sh #启动hdfs
start-all.sh #启动hdfs
jps
必须看到namenode和datanode都启动了才行!!!!
本地的伪分布式环境搭建完成!!!
apache hadoop 伪分布式安装的更多相关文章
- hadoop伪分布式安装之Linux环境准备
Hadoop伪分布式安装之Linux环境准备 一.软件版本 VMare Workstation Pro 14 CentOS 7 32/64位 二.实现Linux服务器联网功能 网络适配器双击选择VMn ...
- Hadoop 伪分布式安装、运行测试例子
1. 配置linux系统环境 centos 6.4 下载地址:http://pan.baidu.com/s/1geoSWuv[VMWare专用CentOS.rar](安装打包好的VM压缩包) 并配置虚 ...
- 【Hadoop学习之二】Hadoop伪分布式安装
环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 hadoop-3.1.1 伪分布式就 ...
- [大数据] hadoop伪分布式安装
注意:节点主机的hostname不要带"_"等字符,否则会报错. 一.安装jdk rpm -i jdk-7u80-linux-x64.rpm 配置java环境变量: vi + /e ...
- hadoop 伪分布式安装
0. 关闭防火墙 重启后失效 service iptables start ;#立即开启防火墙,但是重启后失效. service iptables stop ;#立即关闭防火墙,但是重启后失效. 重启 ...
- 基于centos6.5 hadoop 伪分布式安装
步骤1:修改IP 地址和主机名: vi /etc/sysconfig/network-scripts/ifcfg-eth0 如果该文件打开为空白文件代表你计算机上的网卡文件不是这个名称“ifcfg-e ...
- Hadoop伪分布式安装步骤(hadoop0.20.2版本)
最近在学习hadoop,自己下了个视频教程,他的教学版本是hadoop0.20.2版本,现在的最新版本都到了3.0了,版本虽然有点老,但是还是学了一下,觉得有借鉴的价值. 不废话了,开始介绍: 先说一 ...
- hadoop伪分布式安装
hadoop的伪分布安装:一台实体机或虚拟机的安装. 环境:Windows7.VMWare.CentOS 1.1 设置ip地址 说明:在CentOS中的网络的类型: 仅主机模式:虚拟机在Windows ...
- macbook 下hadoop伪分布式安装
1 准备原材料 1.1 jdk 1.8.0_171(事先安装并配置环境变量HAVA_HOME,PATH) 1.2 Hadoop 2.8.3 2 免密登陆配置(否则安装过程需要不断输入密码) 2.1 ...
随机推荐
- [python]pycharm画图插件matplotlib、numpy、scipy的下载与安装
最近在用pycharm学习python语言,不得不感叹python语言的强大与人性化! 但对于使用pycharm画图(较复杂的图)就要用到几个插件了,即matplotlib.numpy和scipy!但 ...
- nginx-Proxy Cache缓存
1.创建目录 mkdir /export/Data/nginx_proxy_cache mkdir /export/Data/nginx_proxy_temp 2.修改http,打开缓存 文件 ...
- debug 和release 的区别
http://blog.csdn.net/h_wlyfw/article/details/26688677
- [git push] rejecteded 问题的解决方法
错误信息: hint: Updates were rejected because a pushed branch tip is behind its remote hint: counterpart ...
- 一些Razor语法
Layout asp.net mvc中的一些子视图忽然不行了,点击主视图后发现没有弹出来. 通过浏览器调试,发现打开子视图时,加载了大量的JS,CSS等.真奇怪啊,这些都是在主视图加载的啊,怎么子视图 ...
- 实时人工智能:微软发布Project Brainwave预览版 现场可编程门阵列(Field Programmable Gate Array,简称FPGA) 硬件设计可以迅速演进
https://mp.weixin.qq.com/s/bAPiPURZd-YsbV5PbzwpQQ 编者按:随着各大公司对于数据计算的要求越来越高,实时AI成为了研究者们关注的重点.在美国西雅图举行的 ...
- 第一次PHP面试题
1.标记符title是放在标记符什么之间:head 2.级联样式表文件的扩展名:CSS 3.html中<pre>的作用:pre 元素可定义预格式化的文本 4.mysql_affected_ ...
- 利用JFreeChart生成区域图 (5) (转自 JSP开发技术大全)
利用JFreeChart生成区域图 (5) (转自 JSP开发技术大全) 14.5 利用JFreeChart生成区域图 通过JFreeChart插件只能生成普通效果的区域图,利用工厂类ChartFac ...
- POJ2503 Babelfish map或者hash_map
POJ2503 这是一道水题,用Map轻松AC. 不过,可以拿来测一下字符串散列, 毕竟,很多情况下map无法解决的映射问题需要用到字符串散列. 自己生成一个质数, 随便搞一下. #include&l ...
- E20170526-hm
plain n. 平原; 平地; adj. 平的; 素的; 清晰的; 相貌平平的; layout n. 布局,安排,设计; 布置图,规划图; modularity n. 模块化; 模块性 ...