自学大数据(hadoop)第一天
熟悉linux系统
1、安装linux系统-ubuntu
官网链接:https://www.ubuntu.com/download
下载ubuntu desktop 即可,拖拽到VMvare里即可安装,默认安装;
2、ubuntu默认启动修改
解释:[/boot/grub/grub.cfg]为开机最重要的配置问价,但是gurb.cfg是由[/etc/default/grub]生成的,所以,要修改[/etc/default/grub]文件
结果:然而并没有什么乱用,启动失败了,不知道为什么???
- #使用nano打开grub文件
- sudo nano /etc/default/grub
- #将quiet修改成 text
- GRUB_CMDLINE_LINUX_DEFAULT="TEXT"
- #保存退出 并执行生效命令
- sudo update-grub
- #重启即可
- sudo reboot
3、安装jdk
下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
- #先把.tar.gz文件或者.tar文件复制到~/Downloads里边在解压,否则移动不到ubuntu里边去
cd /mnt/hgfs/下载- cp jdk-9.0.4_linux-x64_bin.tar.gz ~/Downloads
- tar -xzvf jdk-9.0.4_linux-x64_bin.tar.gz
- ls -l
- drwxrwxr-x dialout Feb : jdk-9.0.
- -rw-r--r-- dialout Jan : jdk-9.0.4_linux-x64_bin.tar.gz
- mv jdk-9.0. /opt
- #改变权限
- sudo chown mac:mac /opt
- cd /opt/java/bin
- ./java -version
- #这个时候提示java版本就说明安装成功了
4、配置jdk环境变量
- #建立软连接
- cd /opt
- ln -s jdk-9.0. jdk
- cd /etc/
- ls -l | grep env
- sudo nano enviroment
- #打开后配置环境变量
- JAVA_HOME=/opt/jdk
- PATH后边加上:/opt/jdk/bin
- #然后进入根目录
- cd /
- java -version
5、下载安装hadoop,配置
下载地址:http://hadoop.apache.org/releases.html 我选的是3.0版本
- cd /mnt/hgfs
- #如果解压后,就无法移动到~/Downloads 不知道为什么
- cp hadoop-3.0..tar ~/Downloads
- tar -xvf hadoop-3.0..tar
- mv hadoop-3.0. /opt
#配置软连接
ln -s hadoop-3.0.0 hadoop
#打开配置文件
sudo nano /etc/enviroment
#添加
HADOOP_HOME=/opt/hadoop
PATH=后边加上:/opt/hadoop/bin:/opt/hadoop/sbin
#执行
source /etc/enviroment
#重启
sudo reboot
#验证 注意不是-version
hadoop version
6、修改ip地址
- #注意ip地址的取值范围不要 把ip设置成192.168.8. 这种,肯定会报错
- #[/etc/network/interfaces]目录下修改,修改完执行命令[sudo /etc/init.d/networking restart] 进行重启
- #修改的ip地址如下,目前并不懂里边的内容到底是什么意思
- mac@u100:~$ sudo nano /etc/network/interfaces
- #下边为interfaces问价修改后的内容 注意有的电脑是ens33 有的是enth0或者其他 使用ifconfig来查询你的电脑显卡名称是什么(linux系统才行)
- uto lo
- iface lo inet loopback
- auto ens33
- iface ens33 inet static
- address 192.168.8.101
- netmask 255.255.255.0
- gateway 192.168.8.2 #netstart -rn
- dns-nameserver 8.8.8.8
- #重启网络配置,必须出现[ok]才行,如果提示false,说明你配置的不对
- mac@u100:~$ sudo /etc/init.d/networking restart
- [ ok ] Restarting networking (via systemctl): networking.service.
- #重启系统(ubuntu)即可
- sudo reboot
7、修改dns映射(hostname、对应的映射关系)
hostname文件
- #修改hostname需要root权限,如果你没有设定root密码,请看代码
- sudo passwd root
- #然后输入两次密码,或者一次用户密码,两次root密码,然后root登陆
- su
- #输入你刚才设置的root密码,登陆成功,修改hostname文件
- cd /etc
- echo u100 > hostname
- #hostname本来是ubuntu,这样就修改成u100了,成功修改成本机名,不过需要重启才行,先不着急重启,设置完ip映射再重启
hosts文件
- #修改hosts文件
- sudo nano /etc/hosts
- #以下问修改后的内容
- 127.0.0.1 localhost
- 192.168.8.101 u100
- 192.168.8.102 u200
- 192.168.8.103 u300
- 192.168.8.104 u400
- 192.168.8.105 u500
- # 下边还有一些内容不需要修改,省略!!!
注意:五台虚拟机都要改成相同的hosts文件,相同的映射关系,以后直接ping u100,ping u200即可!!!
自学大数据(hadoop)第一天的更多相关文章
- 聊聊自学大数据flume中容易被人忽略的细节
前言:老刘不敢保证说的有多好,但绝对是非常良心地讲述自学大数据开发路上的一些经历和感悟,保证会讲述一些不同于别人技术博客的细节. 01 自学flume的细节 老刘现在想写点有自己特色的东西,讲讲自学 ...
- 云计算分布式大数据Hadoop实战高手之路第八讲Hadoop图文训练课程:Hadoop文件系统的操作实战
本讲通过实验的方式讲解Hadoop文件系统的操作. “云计算分布式大数据Hadoop实战高手之路”之完整发布目录 云计算分布式大数据实战技术Hadoop交流群:312494188,每天都会在群中发布云 ...
- 成都大数据Hadoop与Spark技术培训班
成都大数据Hadoop与Spark技术培训班 中国信息化培训中心特推出了大数据技术架构及应用实战课程培训班,通过专业的大数据Hadoop与Spark技术架构体系与业界真实案例来全面提升大数据工程师 ...
- CentOS6安装各种大数据软件 第一章:各个软件版本介绍
相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第十一讲Hadoop图文训练课程:MapReduce的原理机制和流程图剖析
这一讲我们主要剖析MapReduce的原理机制和流程. “云计算分布式大数据Hadoop实战高手之路”之完整发布目录 云计算分布式大数据实战技术Hadoop交流群:312494188,每天都会在群中发 ...
- 云计算分布式大数据Hadoop实战高手之路第七讲Hadoop图文训练课程:通过HDFS的心跳来测试replication具体的工作机制和流程
这一讲主要深入使用HDFS命令行工具操作Hadoop分布式集群,主要是通过实验的配置hdfs-site.xml文件的心跳来测试replication具体的工作和流程. 通过HDFS的心跳来测试repl ...
- 14周事情总结-机器人-大数据hadoop
14周随着考试的进行,其他该准备的事情也在并行的处理着,考试内容这里不赘述了 首先说下,关于机器人大赛的事情,受益颇多,机器人的制作需要机械和电控两方面 昨天参与舵机的测试,遇到的问题:舵机不动 排查 ...
- 大数据Hadoop学习之搭建hadoop平台(2.2)
关于大数据,一看就懂,一懂就懵. 一.概述 本文介绍如何搭建hadoop分布式集群环境,前面文章已经介绍了如何搭建hadoop单机环境和伪分布式环境,如需要,请参看:大数据Hadoop学习之搭建had ...
- 大数据hadoop面试题2018年最新版(美团)
还在用着以前的大数据Hadoop面试题去美团面试吗?互联网发展迅速的今天,如果不及时更新自己的技术库那如何才能在众多的竞争者中脱颖而出呢? 奉行着"吃喝玩乐全都有"和"美 ...
- 搭建大数据hadoop完全分布式环境遇到的坑
搭建大数据hadoop完全分布式环境,遇到很多问题,这里记录一部分,以备以后查看. 1.在安装配置完hadoop以后,需要格式化namenode,输入指令:hadoop namenode -forma ...
随机推荐
- 聊一聊 redux 异步流之 redux-saga
让我惊讶的是,redux-saga 的作者竟然是一名金融出身的在一家房地产公司工作的员工(让我想到了阮老师...),但是他对写代码有着非常浓厚的热忱,喜欢学习和挑战新的事物,并探索新的想法.恩,牛逼的 ...
- dee
窗口居中def center(self): screen = QDesktopWidget().screenGeometry() size = self.geometry() self.move((s ...
- 12集合(3)-----Map
一.总体分类 Collection(包括方法add,remove,contains,clear,size) List(接口) LinkedList ArrayList Vector---Stack 2 ...
- [C]最大公约数和最小公倍数
/*求最大公约数和最小公倍数 编写程序,在主函数中输入两个正整数 a,b,调用两个函数 fun1() 和 fun2(),分别求 a 和 b 的最大公约数和最小公倍数,在主函数中输出结果. */ #in ...
- ZZFAFA_BilibiliMusic_DownUrl
OneDrive_DownFileUrl: FHProductionHK-BGM:https://1drv.ms/f/s!Ajs97XY1QSQ8cPXo36h4AK9XG7k CABAL&A ...
- sqlserver2008简介
sql 数据库简介 应该掌握的部分: 1. 数据库的基本概念 2. 数据库模型的基本概念 3. 实体联系模型的基本概念 4. 关系模型的基本概念和性质 5. 数据库优化理论 6. 掌握创建 ...
- bond-vlan-bridge
拓扑介绍 Eth-Trunk5 down down 0% 0% 0 0 10GE1/0/5 down down 0.01% 0.01% 0 0 10GE2/0/5 down down 0.01% 0% ...
- 005-docker启动设置环境变量
https://blog.csdn.net/wsbgmofo/article/details/79173920
- Asp.Net : Page.RegisterStartupScript及 不执行的原因
RegisterStartupScript 把script放置在ASP.NET page的底部,而RegisterClientScriptBlock把script放置在ASP.NET page的顶部 ...
- Spring常用的三种注入方式
好文要收藏,摘自:https://blog.csdn.net/a909301740/article/details/78379720 Spring通过DI(依赖注入)实现IOC(控制反转),常用的注入 ...