1) 关于hadoop在eclipse插件。经过自己的摸爬滚打。总结一下三条。

    a) 2.0或者0.23.0吧 google比较方便。其他的可以自己编译。(这个我不敢保证。我本地环境事2.1.0。就是google上搜到的,都是可以自己编的,听说2.0源代码里面也有。但是我没有找到)

    b)2.0以后的,特别的是2.1.0的。人家独立了一个项目,叫做HDT。还在开发中。这个是项目网址

http://hdt.incubator.apache.org/

    c) 感觉上,如果mapperreduce其实可以再本机跑,纯调试用。然后接一个分布式的hdfs即可。因为我刚学吗,而且是自学。也不敢保证。

        总之是。我理论猜测为先,想想mapperreduce,其实也就是一个java程序。然后亲身试验了一下。发现居然行。估计着,mapreduce其实跑的就是本地一个单线程的程序,多线程也算不上,更别谈分布式了。有其形,而无其实。

        项目中。maven的dependency。

                        <!-- hadoop -->

                                <dependency>

                                                <groupId>org.apache.hadoop</groupId>

                                                <artifactId>hadoop-common</artifactId>

                                                <version>${hadoop.version}</version>

                                </dependency>

                    <dependency>

                                    <groupId>org.apache.hadoop</groupId>

                                    <artifactId>hadoop-hdfs</artifactId>

                                    <version>${hadoop.version}</version>

                                </dependency>

                                <dependency>

                                    <groupId>org.apache.hadoop</groupId>

                                    <artifactId>hadoop-yarn-common</artifactId>

                                    <version>${hadoop.version}</version>

                    </dependency>

                                <dependency>

                                  <groupId>org.apache.hadoop</groupId>

                                  <artifactId>hadoop-mapreduce-client-app</artifactId>

                                  <version>2.1.0-beta</version>

                                </dependency>

                                <dependency>

                                    <groupId>org.apache.hadoop</groupId>

                                    <artifactId>hadoop-auth</artifactId>

                                    <version>2.1.0-beta</version>

                                </dependency>

                <!-- hadoop -->

2)管理的web页面

http://master:18088/cluster/scheduler

http://master:23001/dfshealth.jsp

3)在把我写好的程序,放在master,用命令行调用的时候,扔了一个错误。

java.lang.OutOfMemoryError: Java heap space,google了一下,大致就是配置问题。默认的,每一个node的,运行时的内存大小大概为200m。

解决方案,就是增大内存

我用的是2.1.0的。

修改的是

hadoop-env.sh

export HADOOP_HEAPSIZE=1000

export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"

然后网上查的资料。以前版本是

hadoop-site.xml

<property>

<name>mapred.child.java.opts</name>

<value>-Xmx1024m</value>

</property>

根据下面这篇文章的说法,要把配置复制到node上去。不能只是部署到master。为了省点事情,我就这么做了。

http://blog.csdn.net/mango_song/article/details/8314392

自学hadoop(三)的更多相关文章

  1. 从零自学Hadoop(22):HBase协处理器

    阅读目录 序 介绍 Observer操作 示例下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,Sour ...

  2. 从零自学Hadoop(20):HBase数据模型相关操作上

    阅读目录 序 介绍 命名空间 表 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 ...

  3. 从零自学Hadoop(21):HBase数据模型相关操作下

    阅读目录 序 变量 数据模型操作 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 ...

  4. 从零自学Hadoop(19):HBase介绍及安装

    阅读目录 序 介绍 安装 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一篇, ...

  5. 从零自学Hadoop(18):Hive的CLI和JDBC

    阅读目录 序 Hive CLI(old CLI) Beeline CLI(new CLI) JDBC Demo下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出 ...

  6. 从零自学Hadoop(02):环境准备

    阅读目录 起因 虚拟机 Linux 系统安装 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceL ...

  7. 从零自学Hadoop(03):Linux准备上

    阅读目录 序 检查列表 常用Linux命令 搭建环境 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,Sou ...

  8. 从零自学Hadoop(04):Linux准备下

    阅读目录 序 搭建环境 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 我们已经准 ...

  9. 从零自学Hadoop(05):Ambari

    阅读目录 序 引入背景 Ambari介绍 在线安装 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,Sour ...

  10. 从零自学Hadoop(06):集群搭建

    阅读目录 序 集群搭建 监控 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一 ...

随机推荐

  1. 网上图书商城项目学习笔记-012BOOK模块查询2

    一.分析 > 按图名查询(模糊)(分页)> 按作者查询(分页)> 按出版社查询(分页)> 按id查询> 多条件组合查询(分页) 二.代码 1.view层 (1)gj.js ...

  2. Hibernate配置文件hbm主键的generator可选项

    Hibernate配置文件hbm主键的generator可选项 1.自动增长identity 适用于MySQL.DB2.MS SQL Server,采用数据库生成的主键,用于为long.short.i ...

  3. 57. Insert Interval

    题目: Given a set of non-overlapping intervals, insert a new interval into the intervals (merge if nec ...

  4. CMake学习(1)---简单程序与库

    cmake是linux平台下重要的工具,可以方便的组织makefile.之前一直在windows平台下进行软件开发,在vs2010的IDE里,只要一点run程序就能跑出结果.但是程序的编译并没有那么简 ...

  5. Java API —— List接口&ListIterator接口

    1.List接口概述         有序的 collection(也称为序列).此接口的用户可以对列表中每个元素的插入位置进行精确地控制.用户可以根据元素的整数索引(在列表中的位置)访问元素,并搜索 ...

  6. Main()方法

    C#是从方法Main()开始执行的.这个方法必须是类或结构的静态方法,并且其返回类型必须是int或void .虽然显式指定p山屺修饰符是很常见的,因为按照定义,必须在程序外部调用该方法,但我们给该入口 ...

  7. JasperReports+iReport在eclipse中的使用

    转载:http://blog.csdn.net/daming924/article/details/7402295 一.介绍1)它可以PDF,HTML,XML等多种形式产生报表或动态报表,在新版本还支 ...

  8. struct TABLE

    struct TABLE { TABLE() {} /* Remove gcc warning */ TABLE_SHARE *s; handler *file; TABLE *next, *prev ...

  9. FileZilla无法确定拖放操作的目标,由于shell未正确安装

    天有不测风云,突然间,用filezilla下载ftp上的文件到桌面的时候,提示"无法确定拖放操作目标.由于shell未正确安装" 解决办法很简单,执行如下几步就OK了 1.在CMD ...

  10. 【转】cocos2d-x Lua

    Call custom c++ from Lua cocos2d-x lua binds c++ class, class functions ,enum and some global functi ...