一.系统环境: 我使用的Ubuntu版本是:ubuntu-12.04-desktop-i386.iso jdk版本:jdk1.7.0_67 hadoop版本:hadoop-2.5.0 二.下载jdk和hadoop,并上传到Ubuntu系统中 Vmware中的Linux与主机系统Windows交互文件的方法请参考:http://blog.chinaunix.net/uid-27717694-id-3834143.html 三.设置hadoop用户: sudo addgroup hadoop #创建…

摘要:第一次使用hadoop,另外eclipse也不太熟悉,所以把自己在安装过程中得琐碎记录下来.以备以后查看. 硬软件环境: ▪ 虚拟机: VMware Workstation 11.0.0 build-2305329      ▪ 虚拟机安装操作系统: CentOS 6.5      ▪ JDK: 1.6.0_45      ▪ Hadoop: 1.2.1 1.下载Eclipse安装包 从elipse官网下载https://www.eclipse.org/downloads/ 2.解压ecl…

在mac上安装了eclipse之后,配置hadoop其实跟在linux上配置差不多,只是mac上得eclipse和界面和linux上得有点不同. 一:安装eclipse eclipse得安装比较简单,就不说了. 二:配置eclipse链接hadoop 1.在eclipse下安装开发hadoop程序的插件 haoop-0.20.2自带一个eclipse的插件,在hadoop的 contrib\eclipse-plugin目录下hadoop-0.20.2-eclipse-plugin.jar,把这个…

1.打开eclipse之后,建立wordcount项目 package wordcount; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.had…

实验条件:3台centos服务器,jdk版本1.8.0,Hadoop 版本2.8.0 注:hadoop安装和搭建过程中都是在用户lb的home目录下,master的主机名为host98,slave的主机名分别是host99和host101. 1. ssh远程连接服务器 ssh [username]@hostname 2. 创建新用户并创建用户的home主目录 useradd -d /home/lb lb -m 3. 将当前用户加入sudo用户组中,方便在不修改当前用户组权限的情况下,对某些文件和…

伪分布式需要修改5个配置文件(hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop) 第一个:hadoop-env.sh #vim hadoop-env.sh #第25行,由于新的Mac系统不需要配置java环境变量,所以这里要写入具体路径 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1..0_111.jdk/Contents/Home 第二个:core-site.xml <!-- 制定HDFS的老大(Name…

企业公认的最新文本版本:        https://archive.apache.org/dist/ 玩玩这个远程连接软件,是个绿色软件. 别人已经做好了的. 解压之后, 下面,软件展示下, 这会默认去打开, 为了,方便,使用,放到桌面,作为快捷方式 成功 学个知识点,让普通用户如hadoop具备sudo执行权限 切换到root 然后    vi  /etc/sudoers   加入一行 root  ALL=(ALL)     ALL hadoop  ALL=(ALL)    ALL 如,达…

1.复制hadoop-eclipse-plugin-2.6.0.jar插件到eclipse的plugins目录下(hadoop2.6的插件,在hadoop自带上没有,要上网下载,多试几个 如果是从ubuntu自带的软件中心安装elcipse的话,则安装目录为:/usr/share/eclipse/dropins/sdk/plugins/不是在/usr/share/eclipse/plugins sudo cp hadoop-eclipse-plugin-.jar /usr/share/eclip…

1.准备jar包与安装eclipse. 2.将jar包拷贝到eclipse/plugin.…

在eclipse下配置hadoop location的时候 hadoop端口号应该与conf文件夹下的core-site.xml以及mapred-site.xml保持一致 前者对应dfs master,后者对应map-red master //这是mapred-site.xml mapred.job.tracker http://master.hadoop:9001 ​ //这是core-site.xml fs.default.name hdfs://master.hadoop:9000 对于h…