Hadoop小知识点总结1
1、数据仓库warehouse一般不做更改,只做查询
2、OLTP:联机事务处理,比如:转账
OLAP:联机分析处理,比如:只做查询
3、hadoop的思想来源:
GFS (Google的文件系统)即分布式文件系统
4、MapReduce计算模型的来源:
Page Rank 即搜索排名
5、HBase数据库的来源:
BigTable 大表
6、
7、
8、
9、
10、Hadoop五大守护进程(jobtracker、tasktracker、namenode、datanode、secondarynamenode)的三种启动与关闭方式
第一种启动方式:
进入【 Hadoop-1.x / bin】目录,执行start-all.sh,JPS查看进程,全部启动成功。
查看start-all.sh 代码发现:
# start dfs daemons
"$bin"/start-dfs.sh --config$HADOOP_CONF_DIR
# start mapred daemons
"$bin"/start-mapred.sh --config$HADOOP_CONF_DIR
start-all.sh启动是依赖于,start-dfs.sh 和 start-mapred.sh 两个启动文件,需要注意的是它的执行顺序,是先执行,start-dfs.sh 之后再执行 start-mapred.sh
第二种启动方式:
进入【 Hadoop-1.x /bin 】目录,执行start-dfs.sh 后再执行 start-mapred.sh,JPS查看进程,全部启动成功。
查看start-dfs.sh和 start-mapred.sh代码发现:
【start-dfs.sh】
# start dfsdaemons
# startnamenode after datanodes, to minimize time namenode is up w/o data
# note:datanodes will log connection errors until namenode starts
"$bin"/hadoop-daemon.sh--config $HADOOP_CONF_DIR start namenode $nameStartOpt
"$bin"/hadoop-daemons.sh--config $HADOOP_CONF_DIR start datanode $dataStartOpt
"$bin"/hadoop-daemons.sh--config $HADOOP_CONF_DIR --hosts masters start secondarynamenode
【start-mapred.sh】
# start mapreddaemons
# startjobtracker first to minimize connection errors at startup
"$bin"/hadoop-daemon.sh--config $HADOOP_CONF_DIR start jobtracker
"$bin"/hadoop-daemons.sh--config $HADOOP_CONF_DIR start tasktracker
值得注意的是start-dfs.sh 和 start-mapred.sh 的启动是依赖于hadoop-daemon.sh 和 hadoop-daemons.sh文件进行启动的;
注意其顺序,启动顺序依次为namenode、datanode、secondarynamenode、jobtracker、tasktracker
第三种启动方式:
进入【 Hadoop-1.x /bin】目录,命令如下:
【$ ./hadoop-daemon.sh namenode】
【$ ./hadoop-daemon.sh datanode】
【$ ./hadoop-daemon.sh secondarynamenode】
【$ ./hadoop-daemon.sh jobtracker】
【$ ./hadoop-daemon.sh tasktracker】
JPS查看进程,全部启动成功
第一种关闭方式:
调用stop-all.sh即可,原理同上
第二种关闭方式:
调用stop-mapred.sh再调用stop-dfs.sh 注意其执行顺序,原理同上
第三种关闭方式:
关闭顺序为:jobtracker、tasktracker、namenode、datanode、secondarynamenode
进入【 Hadoop-1.x /bin】目录,命令如下:
【$ ./hadoop-daemon.sh namenode】
【$ ./hadoop-daemon.sh datanode】
【$ ./hadoop-daemon.sh secondarynamenode】
【$ ./hadoop-daemon.sh jobtracker】
【$ ./hadoop-daemon.sh tasktracker】
Hadoop小知识点总结1的更多相关文章
- hadoop 小知识点
------------------------------------------- 配置hadoop的最小blocksize,必须是512的倍数. [hdfs-site.xml] dfs.name ...
- 刚接触Linux,菜鸟必备的小知识点(一)
身为一个将要大四的学生,而且还是学计算机的没有接触过linux简直是羞愧难当.这个假期做了一个软件测试员,必须要熟悉linux的操作,所以对于我这个菜鸟我也就说几点比较重要的小知识点吧. 第一.cd指 ...
- Java学习过程中的总结的小知识点(长期更新)
Java学习过程中的总结的小知识点 (主要是自己不会的知识和容易搞错的东西) 计算某个程序运行的时间 long stime=System.currentTimeMillis(); copy3(file ...
- 【转】HTML5的小知识点小集合
html5的小知识点小集合 html5知识 1. Doctype作用?标准模式与兼容模式各有什么区别? (1).<!DOCTYPE>声明位于位于HTML文档中的第一行,处于<h ...
- AngularJS的小知识点
小知识点:$scope和$rootScope (1)每次使用ngController指令,都会调用控制器的创建函数,创建出一个控制器对象. (2)每次创建一个控制器对象,AngularJS都会创建一个 ...
- js中关于value的一个小知识点(value既是属性也是变量)
今天在学习input的value值时,发现这么一个小知识点,以前理解不太透彻. [1]以下这种情况是常见情况,会弹出“测试内容” <input type="button" v ...
- html5的小知识点小集合
html5的小知识点小集合 html5知识 1. Doctype作用?标准模式与兼容模式各有什么区别? (1).<!DOCTYPE>声明位于位于HTML文档中的第一行,处于< ...
- [BS] 小知识点总结-05
[BS] 小知识点总结-05 1. 不论UIWindow的rootViewController是navC.tabBarC还是VC,也不管modalVC和rootVC中间隔着多少个VC,但是modal出 ...
- 一个关于echo的小知识点
一个关于echo的小知识点 echo一个布尔值时,如果是true,输出1,而如果是false,将什么都不输出! 网上搜的一个解释: 对于数字类型来说,false 确实 是 0, 而对strin ...
随机推荐
- android 学习网站
菜鸟教程 http://www.runoob.com/android/android-tutorial.html Android基础入门教程 http://www.runoob.com/w3cnot ...
- RS232、RS485和RS422
一.232电平.TTL电平和CMOS电平 1.232电平:逻辑1:-3V--15V: 逻辑0:+3-+15V. 2.TTL电平:逻辑1:5V: 逻辑0:0V.具体是,输出高电平:VOH≥ ...
- Python序列结构
python中常用的序列结构由列表.元组.字典.字符串.集合等,列表.元组.字符串等有序序列以及range对象均支持双向索引 是否有序 序列结构 是否是可变序列 有序序列 元组 不可变序列 有序序列 ...
- hiho 第六周 01背包
简单的01背包,没有报名,这周的没有权限提交 #include<iostream> #include<memory.h> using namespace std; #defin ...
- SDWebImage之SDWebImageDownloader
SDWebImageDownloader完成了对网络图片的异步下载工作,准确说这个类是一个文件下载的工具类,真正的网络请求是在继承于NSOperation的SDWebImageDownloaderOp ...
- Struts2 项目 Action 查询结果异常 org.apache.struts2.json.JSONException
问题描述 今天进行一个订单管理模块的开发时遇到一个问题:查询的订单时有时会报这个异常: org.apache.struts2.json.JSONException: java.lang.Illegal ...
- LabVIEW(十二):VI本地化-控件标题内容的修改
一.对于一般LabVIEW的学习,很少遇到本地化的问题但是我们经常会遇到界面控件标题的显示问题.由于各个技术领域的专业性,往往用户对VI界面的显示有自己的要求,其中就包括控件的标题问题,这可以理解成本 ...
- [git] 文件操作
文件操作 1. git add 1.1 将未被git管理的文件添加到暂存区 一次可添加多个文件 文件夹,中间用空格隔开 git add 文件/文件夹 文件/文件夹 再次执行 git sta ...
- 学生成绩管理系统3.0(JSP+Servlet+MySQL)
源代码:戳这里! (2019-01-08 更新 惊讶于这么久了还有人看这个项目 于是把代码传到 github 了(辣鸡CSDN) https://github.com/G-lory/StudentAc ...
- 写好Java代码的30条经验总结
成为一个优秀的Java程序员,有着良好的代码编写习惯是必不可少的.下面就让我们来看看代码编写的30条建议吧. (1) 类名首字母应该大写.字段.方法以及对象(句柄)的首字母应小写.对于所有标识符,其中 ...