hadoop 配置安装
1. 下载hadoop 压缩包, 拷贝到 /usr/hadoop目录下 tar -zxvf hadoop-2.7.1.tar.gz,
比如:
127.0.0.1 localhost
192.168.31.129 hadoop2
192.168.31.246 hadoop3
2. 进入 /usr/hadoop/hadoop-2.7.1/etc/hadoop 修改hadoop配置文件 hadoop-env.sh
1) 找到 export JAVA_HOME= ${JAVA_HOME} , 在底行模式输入(带:), :echo $JAVA_HOME 或命令模式下输入 echo $JAVA_HOME 查看当前
JAVA_HOME变量具体值, 然后将查看结果替换成如下:
export JAVA_HOME= /usr/java/jdk1.7.0_71
2) 配置SSH无密码登陆 ,
1. 在hadoop1中使用root用户输入以下命令设置本地无密码登陆
$ ssh-keygen 一路回车即可
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 这样就可以本机对本机进行ssh时免密了
2. 将公钥拷贝到其他机器上(hadoop2,hadoop3),
$ scp id_rsa.pub root@hadoop2:~/.ssh/
3. 在hadoop2中将拷贝过来的公钥追加到 authorized_keys 文件中, 就可以实现 root 免密登录了
$ cat id_rsa.pub >> ~/.ssh/authorized_keys
这样就可以在hadoop1中免密码登陆到hadoop2 和Hadoop3 中了
4. 如果要普通用户之间可以进行免密登录,执行一下步骤
4.1 在hadoop1 中切换成普通用户登录, 如cmcc用户登录
4.2 执行 ssh-keygen 一路回车 这样就会在用户根目录中创建一个 .ssh 文件夹, 如: /home/cmcc/.ssh
4.3 进入目录 /home/cmcc/.ssh , 同样将id_rsa.pub 追加到本机 authorized_keys
$ cat id_rsa.pub >> authorized_keys
4.4 拷贝到其他机器上, 只不过这次不能使用 root 拷贝
$ scp id_dsa.pub cmcc@hadoop2:/home/cmcc/.ssh
4.5 进入 hadoop2 中,进入目录 /home/cmcc/.ssh
4.6 追加公钥到 authorized_keys 中
$ cat id_rsa.pub >> ~/.ssh/authorized_keys
3. 修改 slaves
hadoop2
hadoop3
3. 如2. 修改core-site.xml文件
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
</property>
</configuration>
4. 修SecondaryNameNode 在那台机器上启动
1. 修改 masters 文件(添加主机名列表), 添加 hadoop2 (如果没有这个文件就新建)
2. 修改 hdfs-site.xml 文件 添加:
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop2:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
5. 如2. 修改hdfs-site.xml
<configuration>
<!-- 配副本的数量, 如果副本是3 那么包括自己共3份 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
6. 如2. 修改 mapred-site.xml , 当前文件夹中没有 这个文件 但是有 mapred-site.xml.template, 所以拷贝一份, 进行修改 cp mapred-site.xml.template mapred-site.xml
<configuration>
<!-- 告诉 hadoop 以后MR 运行在yarn 上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
7. 如2. 修改yarn-site.xml
<configuration>
<!-- NodeManger 获取数据的方式是 shuffle 方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定(resourcemanager) 的地址-->
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>127.0.0.1</value>
</property>
</configuration>
8. 将 hadoop 添加到环境变量, 运行 vim /etc/profile 添加 HADOOP_HOME 变量, 并且将它加入 path 中 如下:
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
9. 运行 source /etc/profile , 使环境变量生效
10. 初始化 HDFS (格式化文件系统) , 本命令会出现namenode进程无法启动, 查询了好多资料也不能启动, 最后使用 hadoop namenode -format (已过时)来
进行格式化,成功启动!!(进入bin目录下, 执行 ./hadoop namenode -format 进行格式化)
hdfs namenode –format
11. 将hadoop1 中的配置文件拷贝到 hadoop2 hadoop3 机器上,(进入 /home/hadoop/hadoop-2.7.1/etc/hadoop )下,执行
scp ./* root@hadoop3:/home/hadoop/hadoop-2.7.1/etc/hadoop
12. 进入 /usr/hadoop/hadoop-2.7.1/sbin 目录中,启动 HDFS和YARN 执行 ./start-all.sh 等待执行完毕, 再执行 jps 出现如下结果, 说明安装成功(确实启动项,
查看 /usr/hadoop/hadoop-2.7.1/logs 中日志)
29162 NodeManager
28845 SecondaryNameNode
29025 ResourceManager
29492 Jps
28581 DataNode
28435 NameNode
13. 但是当前 ./start-all.sh 已经过时, 使用 ./start-dfs.sh ./start-yarn.sh 分开启动,
14. 在浏览器中输入如下地址进行验证 (192.168.88.128 为本机地址)
http://192.168.88.128:50070 (hdfs 管理界面)
1)如果看不到活着的 datanode, 可以试图关闭防火墙:
2) 设置host, vi /etc/hosts, 将所有主机名和ip地址都写好
http://192.168.88.128:8088 (yarn 管理界面)
15. 修改 hadoop 中 ssh 链接端口 vi hadoop-env.sh
export HADOOP_SSH_OPTS="-p 16022" 16.参考: https://segmentfault.com/a/1190000009580427
hadoop 配置安装的更多相关文章
- Hadoop配置安装手册
本次Hadoop集群安装一共使用四个节点,各节点IP如下: Master 172.22.120.191 Slave1 172.22.120.192 Slave2 172.22.120.193 Slav ...
- Hadoop单机版安装,配置,运行
Hadoop是最近非常流行的东东啦,但是乍一看都觉得是集群的东东,其实在单机版上安装Hadoop也是可以的,并且安装好以后可以很方便的进行程序的调试,调试好程序以后再丢到集群中,放心的算吧,呵呵.. ...
- hadoop的安装和配置(三)完全分布式模式
博主会用三篇文章为大家详细说明hadoop的三种模式: 本地模式 伪分布模式 完全分布模式 完全分布式模式: 前面已经说了本地模式和伪分布模式,这两种在hadoop的应用中并不用于实际,因为几乎没人会 ...
- hadoop的安装和配置(二)伪分布模式
博主会用三篇文章为大家详细的说明hadoop的三种模式: 本地模式 伪分布模式 完全分布模式 伪分布式模式: 这篇为大家带来hadoop的伪分布模式: 从最简单的方面来说,伪分布模式就是在本地模式上修 ...
- hadoop的安装和配置(一)本地模式
博主会用三篇文章来为大家详细的说明hadoop的三种模式: 本地模式 伪分布模式 完全分布模式 本地模式: 思路走向 |--------------------| | ①:配置Java环境 | | ...
- Hadoop配置第2节-JDK的安装
Hadoop配置-JDK的安装 总体目标:完成zookeeper+Hadoop+Hbase 整合平台搭建 进度:1:集群网络属性配置2:集群免密码登陆配置3:JDK的安装4:Zookeeper的安 ...
- Hadoop HDFS安装、环境配置
hadoop安装 进入Xftp将hadoop-2.7.3.tar.gz 复制到自己的虚拟机系统下的放软件的地方,我的是/soft/software 在虚拟机系统装软件文件里,进行解压缩并重命名 进入p ...
- 在虚拟机上配置安装hadoop集群
原本以为有大神已经总结的很清楚了,就不自己在写了, 但是在自己安装的过程中还是出现了一些问题, 所以打算以自己的方式重新总结一下. 参考https://blog.csdn.net/hliq539 ...
- Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境)
一.准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell $ sudo pass ...
随机推荐
- Python 网络爬虫 009 (编程) 通过正则表达式来获取一个网页中的所有的URL链接,并下载这些URL链接的源代码
通过 正则表达式 来获取一个网页中的所有的 URL链接,并下载这些 URL链接 的源代码 使用的系统:Windows 10 64位 Python 语言版本:Python 2.7.10 V 使用的编程 ...
- 更改windows服务的配置文件(app.config)必须重启服务才能生效吗?
这个问题是前一阶段写windows服务碰到的.本来在写获取配置文件的某个配置的值的时候,通常我都是写类似下面的这么一个静态方法来获取: 1: /// <summary> 2: /// 获取 ...
- JSP内置对象与servlet对应关系
隐式对象 说明 out 转译后对应JspWriter对象,其内部关联一个PringWriter对象 request 转译后对应HttpServletRequest/ServletRequest对象 r ...
- DELPHI XE5 UP2 运行IOS 遇到 Wrapper init failed: (null)问题的解决办法
一.问题表现: 在MAC OSX(10.9.2)上安装了比较新的XCODE5.1 和COMMAND LINE TOOLS 在DELPHI XE5 UP2上放了一个按钮,输出到MAC OSX上,出现: ...
- Robot Framework 使用总结
最近项目上使用了RF快速实现了一些验收测试的自动化case,感觉不错,很好用,下面就记录一下使用RF实现自动化的过程. 什么是RF? RF是一种测试框架,帮助测试人员在其框架下快速实现验收测试的自动化 ...
- Java并发编程的3个特性
一.原子性 原子行:即一个或者多个操作作为一个整体,要么全部执行,要么都不执行,并且操作在执行过程中不会被线程调度机制打断:而且这种操作一旦开始,就一直运行到结束,中间不会有任何上下文切换(conte ...
- Jenkins 自动化部署asp.net
使用步骤 1.安装jenkins.git和vs,并确保机器上安装了.net framework 4.5和.net framework4.0 ,完成后访问http://localhost:8080. 2 ...
- WinForm中获取Listbox、DataGridView等控件某行对应的数据
Listbox:listbox.SelectedItem as XXX DataGridView:dataGridView1.Rows[i].Cells[1].Value.ToString()
- 八、Node.js-http模块
JS代码如下: /* 如果我们使用PHP来编写后端的代码时,需要Apache 或者 Nginx 的HTTP 服务器,并配上 mod_php5 模块和php-cgi,来处理客户端的请求相应. 不过对 N ...
- Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'blog.t_blog.addTime' which is not functi
sql报错: Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Expression #1 of SELECT ...