这篇博客根据http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/中的教程进行学习: 首先按照教程的操作的第一步的时候,电脑直接蓝屏了. 但是依然没有打击到我想学习hadoop的热情.继续启动centos 根据教程,我刚刚创建了一个自己名称的用户,因此在这里需要继续创建一个hadoop的账户 添加一个hadoop的用户并且设置密码,同时修改好权限,退出登录 切换成hadoop账号 接着进入安装SSH的操作,首先打开终端,检验系统是否已经安装s…

一.简单视频学习Hadoop的处理架构 二.简单视频学习分布式文件系统HDFS并进行简单的实践操作 简单操作教程:http://dblab.xmu.edu.cn/blog/290-2/ 注意:在建立HDFS和JAVA交互的过程中,需要添加大量的jar包,需要注意! 同时需要注意我们需要把Hadoop打开, cd /usr/local/hadoop ./sbin/start-dfs.sh 三.简单学习HBASE并进行简单的操作 简单操作教程:http://dblab.xmu.edu.cn/blog…

一,Hadoop和NoSQL数据库的学习,大多需要Linux环境. 搭建Linux环境可以分为两种方式: (1)在电脑上安装双操作系统,即同时安装Linux和Windows操作系统,在电脑启动的时候,可以选择进入Linux系统: (2)在安装好Windows操作系统的电脑上,在开机进入Windows操作系统以后,安装Linux虚拟机,即在Windows运行环境下虚拟出一个Linux运行环境. 至此,我选择第二种,安装Linux虚拟机. 1.若您的电脑支持VT(Virtualization Tec…

前面简单介绍了hadoop生态圈,大致了解hadoop是什么.能做什么.带着这些目的我们深入的去学习他.今天一起看一下hadoop的基石--文件存储.因为hadoop是运行与集群之上,处于分布式环境之中,所以他的文件存储也不同与普通的本地存储,而是分布式存储系统,HDFS(The Hadoop Distributed File System). 因为数据量越来越大,一台机器管理的磁盘数量是有限的,所有的数据由很多台机器管理.那么对于这么多台机器管理的数据如何进行协调处理呢?这个时候分布式文件管理…

一.学生免费申请使用IDEA 下载好IDEA后,设置到最后有一个界面, 我们需要到IDEA官网进行IDEA免费试用权的申请,如果有学校的邮箱,使用学校的邮箱注册并证明是自己的就可以直接通过申请.如下图 但有的同学无法使用学校的邮箱,或是不想太麻烦去弄邮箱,因为部分学校在审核的时候可能通不过,这时我们就要用到另一个方法了,如图所示 如实填写内容,记住填英文的,因为你也不知道给你审核的人到底能不能把你的汉语看明白,下图的勾选项都要勾选 最后要记得注册一个JetBrain的账号,不然获得申请可能也无法…

继续上周开启telnet的过程,这个过程发现win10上运行不了telnet的命令 原因大概在于没有开启telnet服务,从网上下载好telent服务端,安装后继续尝试是否能在win10上使用hadoop 安装完成后,现在在CMD命令中能够连通telnet 接着开启,eclipse 进入上周的上传过程 hadoop上传实验成功!!! 留下了感动了泪花 以下功能,通过网址:https://blog.csdn.net/HcJsJqJSSM/article/details/83418976的教程参考学…

在上周已经完成Hadoop的Java编程环境下的配置,这周则是通过对Eclipse的环境编程对Hadoop的API进行简单的调用 参考地址:https://blog.csdn.net/u010523770/article/details/56488520 首先,日常的第一步操作,启动虚拟机中linux并且在终端中启动hadoop 内网主机访问地址+端口号看是否正常启动. Hadoop经过前面的配置已经正常启动了,接着启动eclipse来进行hadoop的api调用 启动eclipse,并且新建一…

在老师给的虚拟机上安装,试了n次都没有安装成功,百度上的说法也是众说纷纭. 之后重新安装了另一个版本的虚拟机,按照教程成功装上了ka li. 一. 安装VMtools:是为了方便宿主机与虚拟机间的文件的传输 点击 虚拟机-->安装VMware Tools 然后将安装的文件复制到Home文件夹中. 查看主目录的文件,使用命令'ls' 进入主目录,使用命令'cd vmtools',使用'ls'再次查看vmtools的文件,发现有一个压缩包,名为VMwareTools-10.1.6-5214329.t…

1. python中的三元运算: result=value1 if 条件 else value2 如果条件成立,result=value1 如果条件不成立,result=value2 2. python3的bytes/str的区别 python3中把文本和二进制数据做了更加明确的区分: 文本:总是Unicode编码,str类型表示 二进制数据:bytes类型表示 因此,不能随意的拼接字符串和字节包.但是,字符串可以被编码(encode方法)编码成字节包,字节包可以被解码(decode方法)成字符…

1.hadoop1.0与hadoop2.0的区别:…