从零自学Hadoop(04):Linux准备下
阅读目录
本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。
文章是哥(mephisto)写的,SourceLink
序
我们已经准备好了网络访问,防火墙,Hosts,SSH等设置,下面我们根据上篇中的检查列表处理下剩下的内容,包括yum,时间同步,本地仓库等。
我们开始吧。
搭建环境
一:检查yum,出现了列表就说明已经安装。
rpm -qa|grep yum二:修改yum源
由于国内网络的情况,所以尽量还是找点国内的镜像,或者比较快的国外镜像。
目前俺只找到一个源还行(上海交通大学的),不过大家有好的源,还是分享出来吧。
#进入目录
cd /etc/yum.repos.d/
#列表
ls -al在这里我们就修改CentOS-Base.repo就可以了。
将原来的注释掉,然后加入baseurl=http://ftp.sjtu.edu.cn/centos/$releasever/os/$basearch/
vim CentOS-Base.repo三:H30时间服务器安装
这里需要安装时间服务器,其他的服务器通过这个来进行多机器时间的同步。
yum install ntp配置ntp.conf
vim /etc/ntp.conf将H30的本地时钟作为时间供给源,这样,即便它失去网络连接,它也可以继续为网络提供服务。
server 127.127.1.0
fudge 127.127.1.0 stratum如果集群是在一个封闭的局域网内,可以屏蔽掉默认的server。
#server .centos.pool.ntp.org iburst
#server .centos.pool.ntp.org iburst
#server .centos.pool.ntp.org iburst
#server .centos.pool.ntp.org iburst[restrict]参数设定方式:
restrict [address] mask [netmask_ip] [parameter]
其中parameter的参数主要有:
ignore : 拒绝所有类型的ntp连接
nomodify : 客户端不能使用ntpc与ntpq两支程式来修改服务器的时间参数
noquery : 客户端不能使用ntpq、ntpc等指令来查询服务器时间,等于不提供ntp的网络校时
notrap : 不提供trap这个远程时间登录的功能
notrust : 拒绝没有认证的客户端
nopeer : 不与其他同一层的ntp服务器进行时间同步restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap这一行的含义是授权192.168.1.0网段上的所有机器可以从这台机器上查询和同步时间。这里的配置涉及到了一些网络知识。 对于第一个参数[address] 它可能是一个IP,也可能是一个网段,这取决于后面给出的子网掩码。如果这里的子网掩码是255.255.255.255,那么配置就变成了只授权给IP是192.168.1.0的那一台机器连接!但是这里子网掩码是255.255.255.0,则此时的192.168.1.0就是一个网络标识了!它代表的是这样一个网段:192.168.1这个网段了。
启动ntp服务
#启动
service ntpd start
#开机启动
chkconfig ntpd on
#状态
service ntpd status四:其他客户机配置
安装
修改ntp.conf
手动同步时间
这里暂时不要开ntpd服务,开了就不能手动同步了,因为使用同一个端口。
ntpdate 192.168.1.30这里出一个思考题,学习得举一反三,掌握基本的原理,其他的只是组合搭配了。
ntpdate H30 行不行得通。
注:这里可以使用-u这样,就不用停止ntpd服务。就可以同步时间。
ntpdate -u 192.168.1.30然后,我们开启服务
#开启服务
service ntpd start
#开机启动
chkconfig ntpd on检查状态
ntpstat ntpq -p这两个命令都可以查看是否与H30同步了。
watch ntpq -p这样,我们的时间同步就做到位了。
五:H30搭建本地仓库
那些库文件都不小,而且从yum上下,很多都不稳定,下的你开始怀疑自己的智商,所以,作为生产环境,我们还是辛苦点,一部到位,做个属于我们自己的本地仓库。
本篇下面的内容均是介绍本地仓库的搭建。这次我们搭建的是基于html的本地仓库。
六:安装httpd服务
httpd是Apache超文本传输协议(HTTP)服务器的主程序。被设计为一个独立运行的后台进程,它会建立一个处理请求的子进程或线程的池。
yum install httpdservice httpd start
chkconfig httpd on我们打开浏览器,输入192.168.1.30
这样说明httpd服务正常运行。
七:安装createrepo
yum install createrepo八:安装yum-utils
yum install yum-utils九:拷贝资源文件
通过Xftp4将文件copy到/var/www/html/hdp目录,如果没有该目录,创建。
cd /var/www/html
ls -al
#创建hdp目录
mkdir hdp开始Copy,这里使用的都是最新的hdp和ambari,大家是不是开始激动了。
这里主要是HDP-2.3.0.0-centos6-rpm.tar和HDP-UTILS-1.1.0.20-centos6.tar要拷贝进来,剧透下,后面我们使用ambari安装的时候,需要这两个库。
十:解压缩文件
tar zxvf HDP-2.3.0.0-centos6-rpm.tar.gz tar zxvf HDP-UTILS-1.1.0.20-centos6.tar.gz我们可以明显的看到多了两个绿色的目录。
十一:创建基于html的创建源
在html的目录下,执行
createrepo hdp执行完成后,我们可以看到hdp目录会多一个repodata的新目录。
-------------------------------------------------------------------------------
到此,我们这部分内容暂时落幕,剩下的本地库的留到下一章节补充完善。
系列索引
本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。
文章是哥(mephisto)写的,SourceLink
从零自学Hadoop(04):Linux准备下的更多相关文章
- 从零自学Hadoop系列索引
本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 从零自学Hadoop(01):认识Hadoop ...
- 从零自学Hadoop(03):Linux准备上
阅读目录 序 检查列表 常用Linux命令 搭建环境 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,Sou ...
- 从零自学Hadoop(13):Hadoop命令下
阅读目录 序 MapReduce Commands User Commands Administration Commands YARN Commands User Commands Administ ...
- 从零自学Hadoop(21):HBase数据模型相关操作下
阅读目录 序 变量 数据模型操作 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 ...
- 从零自学Hadoop(17):Hive数据导入导出,集群数据迁移下
阅读目录 序 将查询的结果写入文件系统 集群数据迁移一 集群数据迁移二 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephis ...
- 从零自学Hadoop(25):Impala相关操作下
阅读目录 序 导入数据 查询 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一 ...
- 从零自学Hadoop(22):HBase协处理器
阅读目录 序 介绍 Observer操作 示例下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,Sour ...
- 从零自学Hadoop(01):认识Hadoop
本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 阅读目录 序 Hadoop 项目起源 优点 核心 ...
- 从零自学Hadoop(06):集群搭建
阅读目录 序 集群搭建 监控 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一 ...
随机推荐
- ASP.NET实现微信功能(1)(创建菜单,验证,给菜单添加事件)
LZ实在 不知道怎么起名字了,索性就取了这个名字,开始吧,说实在的,想给自己的平常的学习做一个总结,总是忘了总结.也只能给工作做一个总结了. 我打算用2篇文章来写,第一篇是关于订阅号的,就是这个号,另 ...
- Java中读文件操作
InputStream & Reader InputStream(字节流),如下是InputStream的层次结构: AudioInputStream:音频输入流类,该方法可以: 从外部音频文 ...
- Android中Application的应用
当android程序启动时系统会创建一个 application对象,用来存储系统的一些信息.通常我们是不需要指定一个Application的,这时系统会自动帮我们创建,如果需要创建自己 的Appli ...
- 4-MSP430定时器_定时器中断
一开始没写好就上传了,,,,,,,,这次来个全的 自己学MSP430是为了写一篇关于PID的文章,需要430在proteus上做仿真,一则认为在自动控制算法上PID真的很经典,PLC设备上大多是模块式 ...
- QTableView中修改某个单元格或者行或者列内容颜色
QTableView的单元格内容实现还是继承了TableViewModel类的data(const QModelIndex &index, int role) const函数,那个设置颜色的问 ...
- C#使用Graphics画圆写字
画填充圆: Graphics gra = this.pictureBox1.CreateGraphics(); gra.SmoothingMode = System.Drawing.Drawing2D ...
- 50个新的汉化Demo!纯前端 Wijmo 放大招
Wijmo 是为企业应用程序开发而推出的一系列包含 HTML5 和 JavaScript 的开发控件,包含 Wijmo 5 . Wijmo 3 及面向企业级应用的控件金融图表.FlexSheet 和 ...
- 关于C#操作防火墙,阻止程序联网
//开启服务.开启防火墙 public void OpenFileWall() { // 1. 判断当前系统为XP或Win7 RegistryKey rk = Registry.LocalMachin ...
- thinkphp验证码
thinkphp自带验证码 前端页面: <div style="position:absolute;z-index:3;top:160px;left:180px;"> ...
- win10平台mysql5.6.34免安装版(绿色版zip)的配置以及密码和编码设置
平台:win10 X64 mysql: mysql-5.6.34-winx64.zip 以下所写都是本人测试过的,力争无误.上次发布了,可是发现了一些问题,特地查了一下官方文档(我会说我是用有道词典翻 ...