第三周之Hadoop学习(三)
从上周的这篇教程中继续hadoop的安装过程:http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/
上节课安装到对hadoop中的输出的文件夹的进行了清空操作,现在接着对hadoop中的配置进行设置
(这里设置的是伪分布式的过程)
首先打开虚拟机吧centos 6.4开机
在终端中输入相应命令用gedit配置 ~/.bashrc 中的设置
添加教程中所给的命令到文件的末尾位置
输入命令使刚刚添加进去的内容生效
继续将对应的内容添加进hdfs-site.xml和core-site.xml中,保存
配置完成之后,执行NameNode的格式化
再根据教程中所给的命令,输入对应的命令之后,出现了一个错误
在其中的bin文件夹中确实没有找到相对应的文件,因此,在格式化的地址估计出现了错误,为了找到究竟是在什么位置。进行了百度一番,发现了这篇博客https://blog.csdn.net/tiankong_12345/article/details/80551930
其中我发现了他的bin/hdfs前面加了个
$HADOOP_HOME
这是刚刚在设置配置文件和配置环境变量的过程中使用到的一个环境变量
属于根据这篇博客中提供的这个位置,进行了大胆的尝试。
执行完之后
格式化的过程相当成功。
接着根据教程开启NameNode和DataNode的守护进程:
开启的过程中发现了相同的错误提示,因此,大致都是前面要加个$HADOOP_HOME才是正确的地址位置
启动的过程中发现并没有输出最后的选项让我们选择继续操作,但是首先得验证是否启动成功,输入jps
发现了新问题:
由于OPENJDK在centos中已经是自动被安装了,前面的安装jdk的过程导致系统出现了多个jdk的版本,因此在安装之后,系统无法判断究竟要使用哪个jdk导致出现了
无法找到运行环境的提示。
根据网上的教程,删除了其中一个java的jdk,发现删除成安装的那个jdk了,而前面的教程说道系统自带的jdk是有问题的,因此,重新安装前面的jdk
过程省略,最终安装完毕
继续查看为什么会导致无法启动进程,进行百度后发现,其原因是没有启动ssh服务导致的
输入service sshd restart后再次启动守护程序,成功执行
输入yes
之后成功启动
输入jps检测如下:
通过网址Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息
运行伪分布式实例:
关闭hadoop及其运行的命令:
./sbin/stop-dfs.sh
./sbin/start-dfs.sh(下次启动时无需再次进行NameNode的初始化)
最后关闭hadoop:
第三周之Hadoop学习(三)的更多相关文章
- “Hello World!”团队第三周召开的第三次会议
今天是我们团队“Hello World!”团队第三周召开的第三次会议.博客内容: 一.会议时间 二.会议地点 三.会议成员 四.会议内容 五.todo list 六.会议照片 七.燃尽图 八.代码地址 ...
- 20175215 2018-2019-2 第三周java课程学习总结
第三周 一.使用JDB调试java代码(主要内容为断点) 以下文字内容转自使用JDB调试java程序,图片则为自己的截图 我们提倡在Linux命令行下学习Java编程.学习时在Ubuntu Bash中 ...
- C语言程序设计(翁恺)--第三周课件中的三个遗留点
刚刚写完第二周遗留点,下面写第三周的 第三周:判断 1.if和else后面也可以没有{}而是一条语句.如果if后不带{},但是后面跟了两条语句,并且后面还有else语句,那么程序会怎么执行? 在Dev ...
- 大二暑假第三周总结--开始学习Hadoop基础(二)
简单学习NoSQL数据库理论知识 NoSQL数据库具有以下几个特点: 1.灵活的可扩展性(支持在多个节点上进行水平扩张) 2.灵活的数据模型(与关系数据库中严格的关系模型相反,显得较为松散) 3.与与 ...
- 第三周vim入门学习2
一.vim重复命令 1.重复执行上次命令 在普通模式下.(小数点)表示重复上一次的命令操作 拷贝测试文件到本地目录 $ cp /etc/protocols . 打开文件进行编辑 $ vim proto ...
- 第三周 day3 python学习笔记
1.字符串str类型,不支持修改. 2.关于集合的学习: (1)将列表转成集合set:集合(set)是无序的,集合中不会出现重复元素--互不相同 (2)集合的操作:交集,并集.差集.对称差集.父集.子 ...
- hadoop学习(三)----hadoop2.x完全分布式环境搭建
今天我们来完成hadoop2.x的完全分布式环境搭建,话说学习本来是一件很快乐的事情,可是一到了搭环境就怎么都让人快乐不起来啊,搭环境的时间比学习的时间还多.都是泪.话不多说,走起. 1 准备工作 开 ...
- 第三周vim入门学习1
一.vim模式介绍 1.概念:以下介绍内容来自维基百科Vim 从vi演生出来的Vim具有多种模式,这种独特的设计容易使初学者产生混淆.几乎所有的编辑器都会有插入和执行命令两种模式,并且大多数的编辑器使 ...
- 暑假第三周总结(学习HDFS操作方法)
本周由于自己出去玩,以及家里的各种事也没好好看书,就对HDFS的一些常用的shell命令进行了学习与应用,观看了林子雨老师关于HDFS的视频,对HDFS的一些存储的原理.规则进行了一定的了解.对uba ...
随机推荐
- Stylus-import
Stylus Import Disclaimer: In all places the @import is used with Stylus sheets, the @require could b ...
- mybatis--MyBatis动态SQL语句
mybatis 的动态sql语句是基于OGNL表达式的.可以方便的在 sql 语句中实现某些逻辑. 总体说来mybatis 动态SQL 语句主要有以下几类: 1. if 语句 (简单的条件判断) 2. ...
- NABCD model作业
1)N(Need需求) 随着人类生活的快速发展,给人们带来了许多的便利,同时也给我们带来了一些麻烦,而我的拼图这个小游戏可以在人们在无聊时玩一玩,也可以给小孩子开发智力. 2)A(Approach做法 ...
- Python 多任务(进程) day1(2)
进程和线程的简单区别: 功能:进程:能够完成多任务,比如 在一台电脑上能够运行多个QQ一份资源有一个执行的剪头,有多份资源就可以执行多个语句线程:能够完成多任务,比如 在一个QQ中的多个聊天窗口一份资 ...
- Centos7 ISCSI配置 完全攻略
Centos7 ISCSI配置 完全攻略 一. iscsi简单介绍 iSCSI( Internet Small Computer System Interface 互联网小型计算机系统接口) iscs ...
- Nginx做代理
0 查看日志 tail -f /var/log/nginx/access.log 1 Nginx代理配置语法 1.Nginx代理配置语法 Syntax: proxy_pass URL; Default ...
- 面试问烂的 Spring AO,全文详解
本人免费整理了Java高级资料,涵盖了Java.Redis.MongoDB.MySQL.Zookeeper.Spring Cloud.Dubbo高并发分布式等教程,一共30G,需要自己领取.传送门:h ...
- Vue基础笔记3
插槽指令 <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <titl ...
- 《实战Java高并发程序设计》读书笔记一
第一章 走入并行世界 1.基本概念 同步:同步方法一旦开始,调用者必须等到方法调用返回后,才能继续后续操作 异步:一旦开始,方法调用就会立即返回,调用就可以继续后续操作 并发:表示两个或者多个任务一起 ...
- Spring基础篇——通过Java注解和XML配置装配bean(转载)
作者:陈本布衣 出处:http://www.cnblogs.com/chenbenbuyi 本文版权归作者和博客园共有,欢迎转载分享,但必须保留此段声明,且在文章页面明显位置给出原文链接,否则保留 ...