1.将hadoop-2.6.1.tar.gz解压到本地 配置环境变量 HADOOP_HOME E:\kaifa\hadoop-2.6.1\hadoop-2.6.1 HADOOP_BIN_PATH %HADOOP_HOME%\bin HADOOP_PREFIX %HADOOP_HOME% 配置path E:\kaifa\jdk1.7.0_21\bin;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin; 2.用idea新建一个maven项目 导入hadoop依赖包 File>…

在VMware虚拟机下搭建了hadoop集群,ubuntu-12.04,一台master,三台slave.hadoop-0.20.2版本.在 master机器上利用eclipse-3.3连接hadoop并运行mapreduce实例可以成功.但是当在windows下eclipse-3.3 远程连接hadoop,DFS locations可以连接上,但运行mapreduce实例时报错,如下: 13/07/02 13:37:04 WARN conf.Configuration: DEPRECATED:…

转载请注明出处,谢谢 2017-10-22 17:14:09  之前都是用python开发maprduce程序的,今天试了在windows下通过eclipse java开发,在开发前先搭建开发环境.在此,总结这个过程,希望能够帮助有需要的朋友. 用Hadoop eclipse plugin,可以浏览管理HDFS,自动创建MR程序的模板文件,最爽的就是可以直接Run on hadoop. 1.安装插件 下载hadoop-eclipse-plugin-1.2.1.jar,并把它放到 F:\eclip…

Windows下面调试程序比在Linux下面调试方便一些,于是用Windows下的Eclipse远程连接Hadoop. 1. 下载相应版本的hadoop-eclipse-plugin插件,复制到eclipse的plugins目录下面,再次启动Eclipse. 2. 解压hadoop的.tar.gz文件,并设置环境变量HADOOP_HOME和Path.     3. 在Eclipse下面的Windows->Preferences下面找到Hadoop Map/Reduce,设置Hadoop inst…

IDEA远程连接Hadoop Win 1.Hadoop配置 下载并配置到本地环境 HADOOP_HOME D:\Tools\hadoop-2.7.7\hadoop-2.7.7 HADOOP_PREFIX D:\Tools\hadoop-2.7.7\hadoop-2.7.7 PATH += %HADOOP_HOME%\bin 2.Maven pom.xml <dependency> <groupId>org.apache.hadoop</groupId> <arti…

原文:C# WinForm判断Win7下是否是管理员身份运行 如果程序不是以管理员身份运行,操作本地文件会提示:System.UnauthorizedAccessException异常 Vista 和 Windows 7 操作系统为了加强安全,增加了 UAC(用户账户控制) 的机制,如果 UAC 被打开,用户即使是以管理员权限登录,其应用程序默认情况下也无法对系统目录,系统注册表等可能影响系统运行的设置进行写操作.这个机制大大增强了系统的安全性,但对应用程序开发者来说,我们不能强迫用户去关闭UA…

更改数据库密码: update user set password=passworD("sunjingyu0509!") where user='root'; flush privileges; MySQL可以通过phpmyadmin连接,但是无法通过SqlYog(Windows)或Sequel Pro(Mac)下进行远程连接,报出2003 不能连接MySql服务器“XXXXXX”(10061)这样一个错误. 解决思路: 之前也遇到过这个问题,解决的途径也是五花八门,从百度和Googl…

1.redis在Linux下的远程连接: $ redis-cli -h host -p port -a password 如何连接到主机为 127.0.0.1,端口为 6379 ,密码为 mypass 的 redis 服务上? $redis-cli -h -a "mypass" redis > redis > PING PONG…

紧接上篇,完成Hadoop的安装并跑起来之后,是该运行相关例子的时候了,而最简单最直接的例子就是HelloWorld式的WordCount例子.   参照博客进行运行:http://xiejianglei163.blog.163.com/blog/static/1247276201443152533684/   首先创建一个文件夹,并创建两个文件,目录随意,为以下文件结构: examples --file1.txt --file2.txt 文件内容随意填写,我是从新闻copy下来的一段英文: 执…

本文来自转载:原文 [需求] 在win7环境下用SSH(SecureShell)连接本地的一台虚拟机上ubuntu(11.10)系统  [环境] win7,ubuntu,vmware(8.0) [方案] 首先要确定ubuntu上安装并且启动了ssh服务,然后还要确保linux系统上的防火墙要关闭,win7的防火墙可以正常开启 SSH可以google下载的了. 步骤: 1, 有人说首先要在Virtual Network Editor做NAT 的端口映射,其实是不需要的; ps -e|grep ss…