hadoop打jar包

编译: javac -classpath hadoop的路径下面/hadoop-0.20.0-core.jar -d .class文件存放的路径 XXXX.java 打成jar包: jar -cvf 要生成的Jar包的名字.jar *.* (这个命令是把当前文件下所有的class文件都打如jar包里面去) 运行jar包: hadoop jar xxxx.jar jar包的入口类名 …

Hadoop运行jar包报错java.lang.Exception: java.lang.ArrayIndexOutOfBoundsException: 1

错误信息: java.lang.Exception: java.lang.ArrayIndexOutOfBoundsException: 1 at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:492) at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:552)Caused by: java.l…

修改hadoop的jar包运行时候分配的jvm内存

在hadoop-env.sh中修改参数添加 export HADOOP_HEAPSIZE="4096" 设置分配的最大jvm内存为4096,一般用于jar包里面除了执行map和reduce之外还要执行其他的后续代码,且后续代码所需要的内存占用大于1g. 当出现map或者reduce过程提示内存不足的时候可以修改etc/下面的mapred-site.xml文件中的参数:mapreduce.map.memory.mb数值到合适的参数即可.…

为Hadoop创建JAR包文件Creating a JAR for Hadoop

We've seen the internals of MapReduce in the last post. Now we can make a little change to the WordCount and create a JAR for being executed by Hadoop. If we look at the result of the WordCount we ran before, the lines of the file are only split by s…

Hadoop 运行jar包时 java.lang.ClassNotFoundException: Class com.zhen.mr.RunJob$HotMapper not found

错误如下 Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.zhen.mr.RunJob$HotMapper not found at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:) at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperC…

hadoop运行jar包报错

执行命令:[root@hadoop102 mapreduce]# hadoop jar mapreduce2_maven.jar Filter 错误信息:Exception in thread "main" java.lang.ClassNotFoundException: Filter at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lang.ClassLoader.loadCla…

hbase 2.0.2 分布式安装配置/jar包替换

环境 zk: 3.4.10 hadoop 2.7.7 jdk8 hbase 2.0.2 三台已安装配置好的hadoop002,hadoop003,hadoop004 1.上传并解压hbase-2.1.1-bin.tar.gz到hadoop002上,解压到/opt/module/hbase-2.1.1 2.配置文件 hbase-env.sh修改两处 JAVA_HOME是指定jdk,不多说了,false表示不使用hbase自带的zk export JAVA_HOME=/opt/module/jdk1…

Spark&Hadoop:scala编写spark任务jar包，运行无法识别main函数，怎么办?

昨晚和同事一起看一个scala写的程序,程序都写完了,且在idea上debug运行是ok的.但我们不能调试的方式部署在客户机器上,于是打包吧.打包时,我们是采用把外部引入的五个包(spark-assembly-1.5.1-hadoop2.6.0.jar.commons-logging.jar.fastjson-1.2.10.jar.sqljdbc4.jar.log4j.jar)打包到我们的jar包中.好了,一切都好了...在java -jar demo.jar方式运行,以及把它拷贝到spark集…

hadoop:将WordCount打包成独立运行的jar包

hadoop示例中的WordCount程序,很多教程上都是推荐以下二种运行方式: 1.将生成的jar包,复制到hadoop集群中的节点,然后运行 $HADOOP_HOME/bin/hadoop xxx.jar xxx.WordCount /input/xxx.txt /output 2.或者直接在IDE环境中调试(参见eclipse/intellij idea 远程调试hadoop 2.6.0) 但是生产环境中,更多的情况是:没有ide环境,且各应用最终生成的jar包部署在应用服务器上(应用服务…

【Hadoop需要的Jar包】Hadoop编程-pom.xml文件

JDK版本的要求 Hadoop 2.7 以及之后的版本,需要JDK 7: Hadoop 2.6 以及之前的版本,支持JDK 6: 对于Hadoop1.x.x版本,只需要引入1个jar: hadoop-core 对于Hadoop2.x.x版本,需要引入4个jar: hadoop-common hadoop-hdfs hadoop-mapreduce-client-core hadoop-client jdk.tools(一般需要引入,否则报错) 需要的Jar包 (对应版本:2.x.x) Maven…

Hadoop MapReduce程序中解决第三方jar包问题方案

hadoop怎样提交多个第三方jar包? 方案1:把所有的第三方jar和自己的class打成一个大的jar包,这种方案显然笨拙,而且更新升级比较繁琐. 方案2: 在你的project里面建立一个lib文件夹,然后把所有的第三方jar包放到里面去,hadoop会自动加载lib依赖里面的jar. http://www.blowide.com/2010/04/including-external-jars-in-a-hadoop-job/ 注意最后一段: Luckily, I bumped into…

Hadoop on Mac with IntelliJ IDEA - 4 制作jar包

本文讲述使用IntelliJ IDEA打包Project的过程,即,打jar包. 环境:Mac OS X 10.9.5, IntelliJ IDEA 13.1.4, Hadoop 1.2.1 Hadoop放在虚拟机中,宿主机通过SSH连接,IDE和数据文件在宿主机.IDEA自身运行于JDK 1.8,IDEA工程及Hadoop使用JDK 1.6. 在本系列博文的第一篇,我因不会使用IDEA打jar包,不得不直接调试代码,遇到输入路径不存在问题.今天,我打了几次jar包,结果不都满意,默认情况,ID…

在eclipse中导入hadoop jar包，和必要时导入源码包。

1. 解药hadoop包 1, C:\hadoop-2.7.2\share\hadoop 提取出所有的 jar 包, 到 _lib 文件夹下 2,将有含有source 名称的jar包剪切出来 3,再将含有 test名称的jar包剪切出来. 4, 留下剩余的jar包, 拷贝到eclipse 中的lib文件夹. 2, 在项目底下,新建lib文件夹, 将jar包拷贝进去. 3,全选 lib 下的jar 包: 按住shift,点击第一个,不松开shift,点击最后一个 4 全选状态下右键 bu…

Hadoop打包成jar包在集群上运行时出现的各种问题以及解决方案

之前将eclipse下编好的mapreduce代码放到集群上面跑,发现速度很慢,namenode节点的cpu和内存使用率很低,datanode节点基本上处于没有运行的状态,然后通过查看hadoop-etc-hadoop下面的配置文件,发现mapreduce-site.xml文件下面的mapreduce.framework.name名字中framework少了一个字母e,导致集群一直运行在伪分布模式下面,同时也导致web控制网页没有datanode的信息,打开master:8088网站显示no a…

编写hadoop程序并打成jar包上传到hadoop集群运行

准备工作: 1. hadoop集群(我用的是hadoop-2.7.3版本),这里hadoop有两种:1是编译好的hadoop-2.7.3:2是源代码hadoop-2.7.3-src: 2. 自己的机器可以是任何系统,只要支持JVM,自己的主机上必须有eclipse,以及hadoop-2.7.3和hadoop-2.7.3-src.(我用的是windows系统,为了方便Linux系统传输数据,我选用了FileZilla,一款ftp工具,具体见www.cnblogs.com/NongSi-Net/p/…

HBase、Hive、MapReduce、Hadoop、Spark 开发环境搭建后的一些步骤（export导出jar包方式或 Ant 方式）

步骤一若是,不会HBase开发环境搭建的博文们,见我下面的这篇博客. HBase 开发环境搭建(Eclipse\MyEclipse + Maven) 步骤一里的,需要补充的.如下: 在项目名,右键, 然后,编写pom.xml,这里不多赘述.见 HBase 开发环境搭建(Eclipse\MyEclipse + Maven) 完成之后呢,编写好代码,对吧. 步骤二 HBase 开发环境搭建后的一些步骤(export导出jar包方式或 Ant 方式) 这里,不多说,玩过大数据一段时间的博友们,…

idea导入hadoop jar包

hadoop jar包在hadoop安装目录下,找到share\hadoop目录,搜索jar,全选,然后在安装目录新建_jar文件夹,将所有的jar包拷进去 idea添加jar包在Project Structure下,Libraries下添加jar包所在目录即可使用maven管理jar包更方便,添加依赖就行了…

记一次netty的Hadoop和elasticsearch冲突jar包

在一个项目中同时使用hbase和elasticsearch出现netty的jar包冲突的问题事件: 在同一maven项目中使用hbase的同时又用了es 程序运行后出错 java.lang.NoSuchMethodError: io.netty.util.AttributeKey.newInstance(Ljava/lang/String;)Lio/netty/util/AttributeKey; 上网查了一些原因,说是netty的版本不同的原因,自己在编译后的目录也看到了不同,分别用了4.0…

由提交storm项目jar包引发对jar的原理的探索

序:在开发storm项目时,提交项目jar包当把依赖的第三方jar包都打进去提交storm集群启动时报了发现多个同名的文件错误由此开始了一段对jar包的深刻理解之路. java.lang.RuntimeException: Found multiple defaults.yaml resources. You're probably bundling the Storm jars with your topology jar. [jar:file:/home/hadoop/app/storm/l…

Socket与Http方式解析发送xml消息封装中间件jar包

最近项目代码中太多重复的编写Document,不同的接口需要不同的模板,于是重写提取公共部分打成jar包,方便各个系统统一使用~ 提取结构: Http连接方式: import java.nio.charset.Charset; import java.util.Arrays; import java.util.List; import java.util.Map; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import or…

Eclipse下新建Maven项目、自动打依赖jar包

当我们无法从本地仓库找到需要的构件的时候,就会从远程仓库下载构件至本地仓库.一般地,对于每个人来说,书房只有一个,但外面的书店有很多,类似第,对于Maven来说,每个用户只有一个本地仓库,但可以配置访问很多远程仓库. Eclipse *版本 Eclipse *下载强烈推荐书籍:Maven实战许晓斌著.目前是第一版注意:最新版本的Eclipse代号Mars,已经直接集成了Maven,所以无需安装m2Eclipse插件. Eclipse下新建Maven项目 1.下载Maven安装包进入M…

如何将jar包加入到Maven本地仓库

原则上Maven的设计是不需要这么做的,因为pom.xml中依赖的jar包会自动实现从中央仓库下载到本地仓库.但是公司设计了一个setting,如果本地仓库没有,就去setting指定的url中下载jar包,如果还没有就报错.考虑到setting中url的jar包比较老,如果需要用最新的,则需要将jar包手动下载到本地仓库.比如我下载了lucene-queryparser-4.6.1.jar怎么添加到本地仓库呢?步骤:1.cmd命令进入该jar包所在路径2.执行命令mvn install:ins…

Linux下编译java并生成jar包

下面是WordCount.java类 package com.ll; import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import or…

HDFS的java客户端操作代码(Windows上面打jar包，提交至linux运行)

1.通过java.net.URL实现屏幕显示demo1文件的内容 package Hdfs; import java.io.InputStream; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.apache.hadoop.io.IOUtils; public class JarDemo { static{ URL.setURLStreamHandlerFactory(…

Spark学习笔记-如何运行wordcount（使用jar包）

IDE:eclipse Spark:spark-1.1.0-bin-hadoop2.4 scala:2.10.4 创建scala工程,编写wordcount程序如下 package com.luogankun.spark.base import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ /** * 统计字符出现次数 */ object…

MapReduce程序依赖的jar包

难得想写个mapreduce程序.发现已经不记得须要加入那些jar包了,网上找了一会也没发现准确的答案.幸好对hadoop体系结构略知一二.迅速试出了写mapreduce程序须要的五个jar包. 不多不少,5个包足矣--贴出来免得其朋友再走弯路 (请忽视包的版本号不一致问题,是我从其它项目中东拼西凑过来的) 最后解释一下这五个包的大致功能: 1.commons-cli:主要提供了解析命令行的库 2.commons-logging:经常使用的日志相关库 3.guava: guava的中文意思事实上…