一.准备工作 1.eclipse连接hadoop的插件,需要版本匹配,这有几个常用的 2 版本的插件 hadoop2x-eclipse-plugin-master 密码:feg1 2.hadoop-common-2.2.0-bin-master,这个跟版本无关,直接用就可以. hadoop-common-2.2.0-bin-master 密码:nr3h 二.环境搭建 1.将 hadoop2x-eclipse-plugin-master 中对应的插件放到 eclipse 目录中的 plugin 下…

第一次跑mapreduce,记录遇到的几个问题,hadoop集群是CDH版本的,但我windows本地的jar包是直接用hadoop2.6.0的版本,并没有特意找CDH版本的 1.Exception in thread "main" java.lang.NullPointerException atjava.lang.ProcessBuilder.start 下载Hadoop2以上版本时,在Hadoop2的bin目录下没有winutils.exe和hadoop.dll,网上找到对应版本…

前面有一篇的博客写的是ubuntu下安装eclipse和java环境的配置.当时是安装网上的攻略进行的 ,当然也是能够成功的. 近期把那台电脑送人了 ,仅仅好在自己的这台电脑上又一次安装一次了 ,唯一欣慰的是eclipse和jdk  以及ubuntu版本号都有所更新,这次也用了其它的方式进行的安装配置 第一步下载 这里要下载eclipse 和jdk 最新版本号的jdk已经到了1.8.0_05 .eclipse也升级到了luna   ubuntu用的是14.4 eclipse  :http://w…

本人只针对小白!本文只针对小白!本文只针对小白! 最近闲来无事,加上之前虽没有做过eclipse上java.python的开发工作,但一直想尝试一下.于是边查找资料边试验,花了一天时间在自己的机器上用eclipse分别在windows 与 ubuntu(linux)系统上搭建了java与python的开发环境. 接下来用分别用两篇博文整理本人的搭建流程,也做一些问题总结. 一.用eclipse + jdk搭建java开发环境   本人的的系统环境为:windows 7 64位 1. 首先去官网下…

1.到官网上下载jdbc驱动,我下载的是mysql-connector-java-5.0.8.tar.gz 2.解压下载到的文件 tar -zxvf mysql-connector-java-5.0.8.tar.gz 3.将解压出来的jar包放到/usr/java/jdk1.7.0/jre/lib/ext目录下,这样就完成了配置. 测试程序: package test; import java.sql.*; public class Mysqljava {     public static v…

欢迎和大家交流技术相关问题: 邮箱: jiangxinnju@163.com 博客园地址: http://www.cnblogs.com/jiangxinnju GitHub地址: https://github.com/jiangxincode 知乎地址: https://www.zhihu.com/people/jiangxinnju 安装插件 将hadoop安装包hadoop\contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar拷贝到…

(注:虽然连接成功但是还是执行不了.以后有时间再解决吧 看到的人别参考仅作个人笔记)先mark下 1.首先在window下载好一个eclipse.和拷贝好linux里面hadoop版本对应的插件(我是用hadoop-eclipse-plugin-2.3.0.jar) 2.拷贝hadoop-eclipse-plugin-2.3.0.jar到window下eclipse plugins里面 3.配置hadoop目录window--->preference---->hadoop map/reduce…

在liunx上写了一个shell脚本,想通过java去调用这个shell脚本,不知道怎么去调用,在网上说使用process这个进程方式,但是我执行机和我shell脚本都不在同一台电脑,老大说java中可以连接ssh,执行shell脚本,以下代码来自他们以前的项目 public class SSH { static Connection conn = null; static String hostname = "XXXiP地址2"; static String username = &…

一.eclipse中,在要打成jar包的项目名上右击,出现如下弹出框,选择“export”: 二.在接下来出现的界面中点击“jar file”,然后next: 三.在接下来出现的界面中,如图所示勾选上要打包的项目以及其他选项,例如test项目:然后点击右边箭头所指的browse,选择打好的jar包要保存的目录,同时给自己的jar包命名,例如我这里选择存放在桌面,名字为jarTest;然后点击“next”,在之后弹出的界面中再点击一次“next”: 四.在上一步两次“next”后,会出现如下界面,…

来自:http://blog.csdn.net/hezuoxiang/article/details/6878026 写了个mapreduce的JAVA程序,自定义了个partition class indexPartition extends HashPartitioner<Text, Text>{ public int getPartition(Text key, Text value,int numReduceTasks) {  Text tmp = new Text(key.toStr…