2019暑假第二周(hadoop在个人电脑上的搭建)
一,Hadoop和NoSQL数据库的学习,大多需要Linux环境。
搭建Linux环境可以分为两种方式:
(1)在电脑上安装双操作系统,即同时安装Linux和Windows操作系统,在电脑启动的时候,可以选择进入Linux系统;
(2)在安装好Windows操作系统的电脑上,在开机进入Windows操作系统以后,安装Linux虚拟机,即在Windows运行环境下虚拟出一个Linux运行环境。
至此,我选择第二种,安装Linux虚拟机。
1.若您的电脑支持VT(Virtualization Technology)技术,即CPU的虚拟化,请在BIOS界面开启。
相关具体过程请移步百度搜索:
例如:惠普(电脑型号)笔记本怎么进入BIOS设置VT
https://zhidao.baidu.com/question/748476642804006972.html
2.下载开源虚拟机软件VirtualBox
VirtualBox 6.0.8 下载地址:https://www.virtualbox.org/wiki/Downloads
并安装。
3.下载Centos(Linux的一个版本)ISO映像文件
CentOs 7下载地址:http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso
4.使用VirtualBox安装CentOS
具体步骤参考:
使用VirtualBox安装CentOS6.4:http://dblab.xmu.edu.cn/blog/164/(最后一定要选择Desktop,更易上手);
使用VirtualBox安装CentOS7:https://blog.csdn.net/maty_wang/article/details/79127718
二,在Linux虚拟机内安装hadoop
安装步骤参考:
http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/
对于上面博客的一些自己的想法:
注:下面一切步骤都在linux虚拟机内实现,包括下载
java环境
1.卸载自带的jdk
提示:Linux终端界面的复制是:ctrl+shift+C;粘贴是:ctrl+shift+V
输入命令: rpm -qa | grep java
通过 rpm -e --nodeps 后面跟系统自带的jdk名 这个命令来删除系统自带的jdk,
例如(请根据自己的实际情况删除):
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.8.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.111-2.6.7.8.el7.x86_64
2.官网下载jdk1.8
可以使用Linux的浏览器Firefox下载
下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
3.解压,安装
参考博客(博主:清晨的第一抹阳光):
https://www.cnblogs.com/116970u/p/10400436.html
hadoop下载
目前,hadoop提供下载的最新版本3.2.0,最低版本2.6.5;而且在实际过程中我没能找到 hadoop-2.x.y.tar.gz.mds 文件,即文件完整性检验,可跳过这一步骤。
如果你下载的是3.2.0版本,jdk请使用1.8否则可能会出现错误。
VirtualBox增强功能
强烈建议安装,可以实现鼠标在虚拟机和Windows界面自由切换,也可以将Linux界面全屏显示;
2019暑假第二周(hadoop在个人电脑上的搭建)的更多相关文章
- 大二暑假第二周总结--开始学习Hadoop基础(一)
一.简单视频学习Hadoop的处理架构 二.简单视频学习分布式文件系统HDFS并进行简单的实践操作 简单操作教程:http://dblab.xmu.edu.cn/blog/290-2/ 注意:在建立H ...
- 暑假第二周总结(在centos系统中安装eclipse出错,改为安装ubantu)
本周试着在centos6.4系统上安装eclipse,在林子雨老师的教程所给的链接无法下载,后来找了许多的教程,即便是从官网下载之后,即便是安装好之后eclipse都无法正常启动,后来翻阅借阅的图书后 ...
- 第二周学习总结-Java
2018年7月22日 暑假第二周马上就要结束了,这一周我继续学习了java. 本周学到了一些Java的修饰词,比如static.private.public等,这些修饰词用法与c++类似,很容易掌握. ...
- C语言程序设计II—第二周教学
第二周教学总结(4/3-10/3) 教学内容 根据邹欣老师的建议,临时修改教学计划,将最后一周的内容:第十二章 文件,提前讲授. 课前准备 在博客园发布作业:2019春第二周作业 作业根据本周讲授的& ...
- SCRUM 12.09 软件工程第二周计划
第二轮迭代的第二周开始了,上一周我们进行了对代码优化的探索与自我审查. 本周,我们有以下两点目标要实现: 1.对客户端进行优化. 2.网络爬虫爬取美团外卖. 客户端优化主要开发人员:高雅智.牛强.彭林 ...
- Java学习第二周学习笔记
20145307<Java程序设计>第二周学习总结 教材学习内容总结 Java语言中的很多基本语法都和C语言类似,以下Java中的基本语法 标识符 标识符是程序中自定义的一些名称. 由26 ...
- 20172328 2018—2019《Java软件结构与数据结构》第二周学习总结
20172328 2018-2019<Java软件结构与数据结构>第二周学习总结 概述 Generalization 本周学习了第三章集合概述--栈和第四章链式结构--栈.主要讨论了集合以 ...
- 2018年-2019年第二学期第二周C#学习个人总结
在本学期的第二周,我们又开始了C#的学习.在星期一的C#课上时,我们学了this关键字的用法其中包括1.this访问属性2.this访问成员方法3.this访问构造方法.在this访问属性中通过thi ...
- 2017-2018-1 Java演绎法 第二周 作业
团队任务:讨论Android上的游戏软件 参考现代软件工程 第一章 [概论]练习与讨论: 软件有很多种,也有各种分类办法,本次团队任务是讨论选取Android上的一个游戏软件,考虑到每位组员接触的游戏 ...
随机推荐
- Big Data(六)用户权限实操&HDFS-API实操
创建用户实操 1.创建用户god useradd god passwd god 2.设置ssh免密 ssh-copy-id -i id_dsa node02 3.修改hdfs-site.xml中的ss ...
- uwsgi_response_write_body报错的几种情况
1.uwsgi_response_write_body_do(): Broken pipe 出现这种情况一般是由于客户端无法等到服务端的回应而关闭了连接,常出现与nginx + uwsgi的情况,当u ...
- 一个web应用的诞生(3)
经过上一章的内容,其实就页面层来说已结可以很轻松的实现功能了,但是很明显美观上还有很大的欠缺,现在有一些很好的前端css框架,如AmazeUI,腾讯的WeUI等等,这里推荐一个和flask集成很好的b ...
- Python之网路编程之死锁,递归锁,信号量,Event事件,线程Queue
一.死锁现象与递归锁 进程也是有死锁的 所谓死锁: 是指两个或两个以上的进程或线程在执行过程中,因争夺资源而造成的一种互相等待的现象,若无外力作用, 它们都将无法推进下去.此时称系统处于死锁状态或系统 ...
- HDU-2444-The Accomodation of Students(二分图判定,最大匹配)
链接: https://vjudge.net/problem/HDU-2444#author=634579757 题意: There are a group of students. Some of ...
- pyqt5--动画
动画类别继承结构图 天子骄龙
- 【leetcode】638. Shopping Offers
题目如下: In LeetCode Store, there are some kinds of items to sell. Each item has a price. However, ther ...
- 两句话掌握 Python 最难知识点——元类
千万不要被所谓“元类是99%的python程序员不会用到的特性”这类的说辞吓住.因为每个中国人,都是天生的元类使用者 学懂元类,你只需要知道两句话: 道生一,一生二,二生三,三生万物 我是谁?我从哪来 ...
- 使用bitmap实现对一千万个无重复的正整数(范围1~1亿)快速排序
1 Bytes(字节) == 8 bit 1 KBytes == 1024 Bytes 思路: 1)申请长度为1亿的保存二进制位的数组 a, 2)通过位运算,将整数做为索引,将数组a对应的索引位置为1 ...
- 什么是工作流java Activity
见:http://www.it165.net/pro/html/201504/37443.html 一. 什么是工作流 以请假为例,现在大多数公司的请假流程是这样的 员工打电话(或网聊)向上级提出请假 ...