1) 关于hadoop在eclipse插件。经过自己的摸爬滚打。总结一下三条。

    a) 2.0或者0.23.0吧 google比较方便。其他的可以自己编译。(这个我不敢保证。我本地环境事2.1.0。就是google上搜到的,都是可以自己编的,听说2.0源代码里面也有。但是我没有找到)

    b)2.0以后的,特别的是2.1.0的。人家独立了一个项目,叫做HDT。还在开发中。这个是项目网址

http://hdt.incubator.apache.org/

    c) 感觉上,如果mapperreduce其实可以再本机跑,纯调试用。然后接一个分布式的hdfs即可。因为我刚学吗,而且是自学。也不敢保证。

        总之是。我理论猜测为先,想想mapperreduce,其实也就是一个java程序。然后亲身试验了一下。发现居然行。估计着,mapreduce其实跑的就是本地一个单线程的程序,多线程也算不上,更别谈分布式了。有其形,而无其实。

        项目中。maven的dependency。

                        <!-- hadoop -->

                                <dependency>

                                                <groupId>org.apache.hadoop</groupId>

                                                <artifactId>hadoop-common</artifactId>

                                                <version>${hadoop.version}</version>

                                </dependency>

                    <dependency>

                                    <groupId>org.apache.hadoop</groupId>

                                    <artifactId>hadoop-hdfs</artifactId>

                                    <version>${hadoop.version}</version>

                                </dependency>

                                <dependency>

                                    <groupId>org.apache.hadoop</groupId>

                                    <artifactId>hadoop-yarn-common</artifactId>

                                    <version>${hadoop.version}</version>

                    </dependency>

                                <dependency>

                                  <groupId>org.apache.hadoop</groupId>

                                  <artifactId>hadoop-mapreduce-client-app</artifactId>

                                  <version>2.1.0-beta</version>

                                </dependency>

                                <dependency>

                                    <groupId>org.apache.hadoop</groupId>

                                    <artifactId>hadoop-auth</artifactId>

                                    <version>2.1.0-beta</version>

                                </dependency>

                <!-- hadoop -->

2)管理的web页面

http://master:18088/cluster/scheduler

http://master:23001/dfshealth.jsp

3)在把我写好的程序,放在master,用命令行调用的时候,扔了一个错误。

java.lang.OutOfMemoryError: Java heap space,google了一下,大致就是配置问题。默认的,每一个node的,运行时的内存大小大概为200m。

解决方案,就是增大内存

我用的是2.1.0的。

修改的是

hadoop-env.sh

export HADOOP_HEAPSIZE=1000

export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"

然后网上查的资料。以前版本是

hadoop-site.xml

<property>

<name>mapred.child.java.opts</name>

<value>-Xmx1024m</value>

</property>

根据下面这篇文章的说法,要把配置复制到node上去。不能只是部署到master。为了省点事情,我就这么做了。

http://blog.csdn.net/mango_song/article/details/8314392

自学hadoop(三)的更多相关文章

  1. 从零自学Hadoop(22):HBase协处理器

    阅读目录 序 介绍 Observer操作 示例下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,Sour ...

  2. 从零自学Hadoop(20):HBase数据模型相关操作上

    阅读目录 序 介绍 命名空间 表 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 ...

  3. 从零自学Hadoop(21):HBase数据模型相关操作下

    阅读目录 序 变量 数据模型操作 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 ...

  4. 从零自学Hadoop(19):HBase介绍及安装

    阅读目录 序 介绍 安装 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一篇, ...

  5. 从零自学Hadoop(18):Hive的CLI和JDBC

    阅读目录 序 Hive CLI(old CLI) Beeline CLI(new CLI) JDBC Demo下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出 ...

  6. 从零自学Hadoop(02):环境准备

    阅读目录 起因 虚拟机 Linux 系统安装 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceL ...

  7. 从零自学Hadoop(03):Linux准备上

    阅读目录 序 检查列表 常用Linux命令 搭建环境 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,Sou ...

  8. 从零自学Hadoop(04):Linux准备下

    阅读目录 序 搭建环境 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 我们已经准 ...

  9. 从零自学Hadoop(05):Ambari

    阅读目录 序 引入背景 Ambari介绍 在线安装 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,Sour ...

  10. 从零自学Hadoop(06):集群搭建

    阅读目录 序 集群搭建 监控 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一 ...

随机推荐

  1. 使用PowerDesigner进行数据库建模入门

    阅读目录 两种重要模型 创建表和主外键 创建视图和存储过程 生成数据库 PowerDesigner(简称PD)是一种强大的数据库建模工具,使用PD可以创建业务模型,UML类图等,当然最主要的功能是数据 ...

  2. Redis是什么?

    1. Redis是什么 这个问题的结果影响了我们怎么用Redis.如果你认为Redis是一个key value store, 那可能会用它来代替MySQL;如果认为它是一个可以持久化的cache, 可 ...

  3. P25、面试题1:赋值运算符函数

    题目:如下为类型CMyString的声明,请为该类型添加赋值运算符函数. class CMyString { public: CMyString(char* pData = NULL); CMyStr ...

  4. 盘点PHP编程常见失误

    概述:本文盘点PHP开发者在编码时,容易忽略或不注意引起的小失误与错误. 变量声明 如果在一条语句中声明一个变量,如下所示:$var='value';编译器首先会求出语句右半部分的值,恰恰正是语句的这 ...

  5. Java内部类总结 分类: 原理 2015-06-28 09:51 9人阅读 评论(0) 收藏

    内部类是指在一个外部类的内部再定义一个类.内部类作为外部类的一个成员,并且依附于外部类而存在的. 内部类可为静态,可用protected和private修饰(而外部类只能使用public和缺省的包访问 ...

  6. BZOJ 2844 albus就是要第一个出场(高斯消元)

    题目链接:http://61.187.179.132/JudgeOnline/problem.php?id=2844 题意: 给出一个长度为n的正整数数列A.每次选出A的一个子集进行抑或(空集抑或值为 ...

  7. Java IO 遇到的错误

    1.java.io.FileNotFoundException: /storage/emulated/0/xxx.txt: open failed: EISDIR (Is a directory) 该 ...

  8. grunt + compass retina sprites

    https://github.com/AdamBrodzinski/Retina-Sprites-for-Compass

  9. multipath 安装配置

    二. 安装配置 2.1 安装Multipath 查看相关包: [root@rac1 ~]# rpm -qa|grep device-mapper device-mapper-multipath-0.4 ...

  10. ZOJ 2587 Unique Attack (最小割唯一性)

    题意 判断一个无向图的割是否唯一 思路 错误思路:一开始想的是判断割边是否都是关键割边,那既然割边两端点能连通S.T点的边是关键边,那么只要遇到有某个边两端点不连通S or T则这条边就不是关键割边( ...