hadoop学习第一天-hadoop初步环境搭建&伪分布式计算配置(详细)
一、虚拟机环境搭建
我们用的虚拟机为vmware,Linux镜像为centOS6.5.
vmware安装
安装没什么多说的,一路下一步,但是在新建虚拟机的时候有两个地方需要注意:
1.分配处理器1个就好了,毕竟现在搭的是伪分布式
2.内存分配多一些,这个就看自己机器的情况了
3.网络设置为NAT,不然会有连不上网的问题
centOS6.5安装
将镜像文件添加至虚拟机中,这个CentOS6.5安装比较傻瓜式,不用自己操作,不像之前在CentOS7的安装,还需要自己进行分区,各种设置。
CentOS6.5配置网络环境
1.进入Linux,右击网络->edit connection->双击你的网卡进行ip配置
ipv4setting->manual->add->address network gateway分别为虚拟机上面的编辑->虚拟网络编辑器->第二个NAT模式中的各种网络配置
我的网络为192.168.32.100 255.255.255.0 192.168.32.2
2.命令行输入ifconfig,查看当前虚拟机的IP,若IP为192.168.32.100则配置正确
3.将给好的jdk-8u121-linux-x64.tar.gz包和hadoop-2.6.0.tar.gz包上传至~/hadoop/(/home/qjx/hadoop/)目录下面
4.修改主机名称(root)vim /etc/sysconfig/network 修改HOSTNAME为当前用户名qjx,重启后生效
5.重启后关闭防火墙(root)vim /etc/init.d/iptables stop
当前linux环境配置如下:
用户:qjx 123456
IP:192.168.32.100
主机名:qjx
二、JDK安装
1.进入hadoop目录
cd hadoop/
2.将hadoop/目录下的jdk-8u121-linux-x64.tar.gz解压
tar -zxvf jdk-linux.tar.gzjdk-8u121-linux-x64.tar.gz
3.编辑/etc/profile文件,并在最后将jdk配置到path(root)
vim /etc/profile
JAVA_HOME=/home/qjx/hadoop/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin
使更改生效(qjx)
source /etc/profile
检验path是否正确可以在命令行输入echo $PATH
三、hadoop安装和伪分布式基本配置
1.进入hadoop/目录
cd hadoop/
2.解压hadoop/目录下的hadoop-2.6.0.tar.gz,完成后会在当前hadoop目录下有hadopp-2.6.0目录
tar -zxvf hadoop-2..6.0.tar.gz
3.修改hadoop-2.6.0/etc/hadoop/hadoop-env.sh文件,增加一行
export JAVA_HOME=/home/qjx/hadoop/jdk-1.8.0_121
4.修改配置文件hadoop-2.6.0/etc/hadoop/core-site.xml,在configaration标签中添加配置
<property>
<name>fs.defaultFS</name>
<value>hdfs://qjx:9000</value>
</property>
ps:此文件配置了hdfs的访问路径,qjx即为自己主机名
5.修改配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml,添加配置标签
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
ps:此文件配置了hdfs节点的副本数(block),因为是单节点伪分布式,所以只需要一个
6.修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml ,这个文件不存在,需要复制一份tmp
cp hadoop-2.6.0/etc/hadoop/mapred-site.xml.template hadoop-2.6.0/etc/hadoop/mapred-site.xml
添加配置
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
7.修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
到此为止,配置文件已经修改完成
四、格式化hdfs和启动伪分布式集群
- 修改/etc/hosts文件(root),添加 一行 主机IP 主机名
192.168.32.100 qjx
2.格式化HDFS,在hadoop解压目录下(/home/qjx/hadoop/hadoop-2.6.0/),执行如下命令:
bin/hdfs namenode -format
注意:格式化只能操作一次,如果因为某种原因,集群不能用, 需要再次格式化,需要把上一次格式化的信息删除,在/tmp目录里执行 rm –rf *(默认将namenode存在/tmp/中,如果后续有操作将配置文件hdfs-site.xml的namenode的值改为了自定义的路径,则删除自己定义的目录)
3.启动集群,在hadoop解压目录下,执行如下命令:
sbin/start-all.sh 需要输入四次当前用户的密码,如果想要不输入密码,可通过配置ssh互信解决,下面有详细方法
4.启动后,命令行输入jps,检查有以下的输出:
[qjx@qjx hadoop-2.6.0]$ jps
32033 Jps
31718 SecondaryNameNode
31528 DataNode
31852 ResourceManager
31437 NameNode
31949 NodeManager
ps:如果碰到缺少某一项,则去hadoop-2.6.0/logs/下面找相应缺少的文件log日志中的错误去解决
5.关闭集群命令:
sbin/stop-all.sh 同样需要输入四次密码
五、ssh互信配置(rsa加密方法)
互信,顾名思义,互相信任,即将两个主机通过公钥,私钥添加互相信任,配置完成可以不用输入密码即可连接ssh
1.命令行输入:ssh-keygen 后,一直Enter,完事(会在根目录下生成三个文件id_rsa,id_rsa.pub,known_hosts)
2.把公钥给信任的主机(本机)
命令行输入 ssh-copy-id 主机名
ssh-copy-id qjx
这个过程需要输入信任主机的密码
3.验证是否成功,在命令行输入 ssh 信任主机名称
ssh qjx
若无提示输入密码,则配置成功
hadoop学习第一天-hadoop初步环境搭建&伪分布式计算配置(详细)的更多相关文章
- Hadoop学习笔记—22.Hadoop2.x环境搭建与配置
自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...
- 学习Linux(一)环境搭建
零基础学习Linux(一)环境搭建 从本文开始我会为大家介绍一下linux环境下详细的集群环境安装.配置.部署到实例演示的整个过程.在此过程中会给大家详细介绍一下Linux的操作技巧和一些工具的使用. ...
- qt学习教程1.qt开发环境搭建
qt学习教程1.qt开发环境搭建 首先下载qt 下载地址:http://download.qt.io/archive/qt/ 此教程使用的版本为5.1.1 下载好后,打开安装包,然后点下一步 选择一个 ...
- [转帖]hadoop学习笔记:hadoop文件系统浅析
hadoop学习笔记:hadoop文件系统浅析 https://www.cnblogs.com/sharpxiajun/archive/2013/06/15/3137765.html 1.什么是分布式 ...
- 学习不一样的Vue1:环境搭建
学习不一样的Vue1:环境搭建 发表于 2017-05-31 | 分类于 web前端| | 阅读次数 11677 首先 首发博客: 我的博客 项目源码: 源码 项目预览: 预览 因为个人的喜好 ...
- Solr学习笔记之1、环境搭建
Solr学习笔记之1.环境搭建 一.下载相关安装包 1.JDK 2.Tomcat 3.Solr 此文所用软件包版本如下: 操作系统:Win7 64位 JDK:jdk-7u25-windows-i586 ...
- ESP32学习笔记(一) 环境搭建与下载
ESP32学习笔记(一) 环境搭建与下载 作者:Nevel 博客:nevel.cnblogs.com 转载请保留出处 前几天刚入手了ESP32模块,趁着放假有时间,我们先把ESP32的编译环境搭建好 ...
- Python+NLTK自然语言处理学习(一):环境搭建
Python+NLTK自然语言处理学习(一):环境搭建 参考黄聪的博客地址:http://www.cnblogs.com/huangcong/archive/2011/08/29/2157437.ht ...
- Java学习笔记【一、环境搭建】
今天把java的学习重新拾起来,一方面是因为公司的项目需要用到大数据方面的东西,需要用java做语言 另一方面是原先使用的C#公司也在慢慢替换为java,为了以后路宽一些吧,技多不压身 此次的学习目标 ...
随机推荐
- 初学vitmio,vitmio的环境配置及遇到的坑
1 到官网或者github下载vitamio 官网地址:https://www.vitamio.org/ github地址:https://github.com/yixia/VitamioBundle ...
- ionic2 tabs使用自定义图标
在ionic2中图标是通过类添加的 比如说 tabIcon="homeImg" 在页面中研究可以看到在ios上有一个类是 .ion-ios-homeImg:before 所以我 ...
- jenkins管理员密码登录不了
1.密码管理员密码,如何修改 进入/var/jenkins_home/users/admin目录下修改config.xml文件: 以下密码是admin <hudson.security.Huds ...
- 在CentOS7下安装jekyll
[root@k8smaster nodejs]# yum install gem ruby ruby-devel -y [root@k8smaster nodejs]# gem sources -l ...
- OpenCV探索之路(十七):Mat和IplImage访问每个像素的方法总结
在opencv的编程中,遍历访问图像元素是经常遇到的操作,掌握其方法非常重要,无论是Mat类的像素访问,还是IplImage结构体的访问的方法,都必须扎实掌握,毕竟,图像处理本质上就是对像素的各种操作 ...
- PHP Startup: Unable to load dynamic library '/usr/lib64/php/modules/event.so'
这是因为启动apche 的时候重复加载了php的动态库模块了, 将:/etc/php.d/ 目录下的event.ini中的内容注释掉或者将文件删除即可
- php防止浏览器点击返回按钮重复提交数据
<!--html中存放隐藏域数据--> <input type="hidden" value='{$sun_nums}' name='sub_nums' /> ...
- 实现AOP功能的封装与配置的小框架
内容 java基础巩固笔记 - 实现AOP功能的封装与配置的小框架 设计(目录): XXX = java.util.ArrayList中 代码 Advice接口 MyAdvice类 BeanFacto ...
- XMLHttpRequest函数封装
XMLHttpRequest函数封装: function ajax(Url,sccuessFn,failureFn) { //1.创建XMLHttpRequest对象 var xhr = null; ...
- “HK”的日常之ARP断网攻击
ARP断网攻击是什么?可以吃吗?如果可以吃它好吃吗? ARP断网攻击就是通过伪造IP地址和MAC地址实现ARP欺骗,能够在网络中产生大量的ARP通信量使网络阻塞,攻击者只要持续不断的发出伪造的ARP响 ...