前言:       毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了.对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环境跑起来,然后在能用的基础上在多想想为什么.       通过这三个礼拜(基本上就是周六周日,其他时间都在加班啊T T)的探索,我目前主要完成的是: 1.在Linux环境中伪分布式部署hadoop(SSH免登陆),运行WordCount实例成功.  http://www.cnblogs.com/Pu…

  Hadoop-1.2.1到Hadoop-2.6.0升级指南   作者 陈雪冰 修改日期 2015-04-24 版本 1.0     本文以hadoop-1.2.1升级到hadoop-2.6.0 ZKFC 模式,Centos 6.4, jdk 1.7.0_60环境为例. 服务器:test23,test24,test25, 原Hadoop-1.2.1的机器分布情况: Test23: NameNode.JobTracker.SecondaryNode Test24:Datanode,TaskTra…

阅读目录 序 里程碑 Hadoop1.x与Hadoop2.x 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一篇,我们使用Maven构建了我的MapReduce程序,并且成功的运行了Job.那么大家可能会觉得为什么要这么做,有没有些理论依据,毕竟对hadoop的功能,特点有了了解后,做事情会心里稍微有点底.所以我们开始补些理论知识. 下面,我们就开始比较下Hadoop1.x与…

摘要:hadoop,一个分布式系统基础架构,可以充分利用集群的威力进行高速运算和存储.本文主要介绍hadoop的安装与集群服务器的配置. 准备文件: ▪ VMware11.0.0      ▪ CentOS-6.5-x86_64-bin-DVD1.iso      ▪ jdk-6u45-linux-x64-rpm.bin      ▪ hadoop-1.2.1-1.x86_64.rpm 1.规划    功能              HOSTNAME             IP        …

环境准备 我使用的是vmware workstation,首先安装ubuntu 12.04,安装完成后通过vmware的clone,clone出两个虚机,设置的IP分别是: 192.168.74.130 master 192.168.74.132 node1 192.168.74.133 node2 然后修改各个主机的/etc/hosts中的内容. 使用vi或者gedit,将上边的内容编缉进去. 创建用户 先创建hadoop用户组: sudo addgroup hadoop 然后创建用户hado…

1.修改core-site.xml,配置hdfs <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/jimmy/D…

一.虚拟机上安裝ubuntun 13.04 中文版 当然,你要是习惯看英文版,也可以直接安装英文版.老老实实从官网下载安装即可,安装系统不是本文的重点.这里只提一个注意事项:新手安装前,切记断网,因为安装过程中会联网下载,默认情况下连接的是美国的服务器,如果网速慢,这一步就可能会耗费几个小时.断网后,这里会自动跳过,等安装好,再设置服务器,选择国内的服务器更新语言包等其它软件. 二.安装 JDK 1.7.0_45 依照从ORACLE官网下载jdk-7u45-linux-x64.tar.gz,然后…

实验环境:VMware 10.0.1+CentOS-6.6-i386 +jdk-6u24-linux-i586+hadoop-1.1.2.tar.gz 普通用户:michael 集群规划:1台master+3台slave 主机名 IP地址 master01          192.168.31.11 slave01              192.168.31.21 slave02              192.168.31.22 slave03              192.168…

From: http://blog.csdn.net/yinan9/article/details/16805275 环境:CentOS 5.10(虚拟机下) [root@localhost hadoop]# lsb_release -a   LSB Version:    :core-4.0-ia32:core-4.0-noarch:graphics-4.0-ia32:graphics-4.0-noarch:printing-4.0-ia32:printing-4.0-noarch   Dis…

1.准备三台节点 hnd1  hnd2  hnd3 下载 hadoop 下载地址:http://apache.fayea.com/hadoop/common/ API文档:http://hadoop.apache.org/docs/r1.0.4/cn/index.html 2.解压:tar -zxvf hadoop-1.2.1.tar.gz 添加软连接:ln -sf /home/hadoop/package/hadoop-1.2.1 /home/hadoop-1.2 3.更改配置:进入/home…

准备工作 三台虚拟机,强烈推荐vmware + centos6.5 三台虚拟机均设有hadoop用户 IP地址设置 IP地址 hostname 192.168.11.100 master 192.168.11.101 slave1 192.168.11.102 slave2 说明:#开头表示root用户,$开头表示hadoop用户 配置IP 所有虚拟机可按照以下这个模板根据自己实际情况相应设置 #vi /etc/sysconfig/network-scripts/ifcfg-eth0 BOOTP…

1.在三个节点上安装JDK RPM 2.在三个节点上安装HADOOP-1.2.1 RPM rpm方式安装和gz解压方式安装后的目录结构有些不同.安装好之后无需设置HADOOP_HOME环境变量 [root@server-914 usr]# whereis hadoophadoop: /usr/bin/hadoop /etc/hadoop /usr/etc/hadoop /usr/include/hadoop /usr/share/hadoop 可执行文件在/usr/bin/hadoop,之前在c…

1.安装ubuntu系统 如果不使用云服务器,可以使用虚拟机WmWare安装,具体安装步骤这里就不讲了,ubuntu系统下载地址:http://www.ubuntu.com/download/desktop 2.修改源列表(非必要步骤) ubuntu的源列表默认是欧洲服务器,下载JDK之类的开源工具比较慢,建议大家修改下: 备份源列表,并修改文件: sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup gedit /etc/apt/…

    练习题目     Hadoop1.X安装 2.1    准备工作 2.1.1   硬软件环境 2.1.2   集群网络环境 2.1.3   安装使用工具 2.2  环境搭建 2.2.1   安装操作系统 2.2.2   配置本地环境 2.2.3   设置操作系统环境 2.3    Hadoop变量配置 2.3.1   下载并解压hadoop安装包 2.3.2   在Hadoop-1.1.2目录下创建子目录 2.3.3   配置hadoop-env.sh 2.3.4   配置core-si…

原创文章,转载请注明: 转载自工学1号馆 欢迎关注我的个人博客:www.wuyudong.com, 更多云计算与大数据的精彩文章 在hadoop-1.0中,不像0.20.2版本,有现成的eclipse-plugin源码包,而是在HADOOP_HOME/src/contrib/eclipse-plugin目录下放置了eclipse插件的源码,这篇文章 ,我想详细记录一下自己是如何编译此源码生成适用于Hadoop1.0的eclipse插件 1.安装环境 操作系统:Ubuntu14.4软件:eclip…

配置hadoop-1.2.1出现localhost: Error: JAVA_HOME is not set. 具体为: hadoop@dy-virtual-machine:~/hadoop-1.2.1$ start-all.shstarting namenode, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-namenode-dy-virtual-machine.outlocalhost: startin…

最近要开始找工作,就在原来搭建好的hadoop1.2.1的伪分布式跑跑mapreduce 很久没用,就想着格式化一下namode,结果: Format aborted in /uar/local/hadoop/tmp/dfs/name 进入tmp查看 以前格式化过了,如果多少次格式化就需要将tmp目录下的文件统统删除 再次格式化就没有问题了 官方文档说,这是hadoop自带的一个集群的保护措施!…

1.hadoop-env.sh 修改 export JAVA_HOME=/Library/Java/Home #增加 JAVA_HOME 2.masters localhost 3.slaves localhost 4.hdfs-site.xml <property> <name>dfs.replication</name> <value>1</value></property> <property> <name&g…

Hadoop1.x与2.x安装笔记 Email: chujiaqiang229@163.com 2015-05-09 Hadoop 1.x 安装 Hadoop1.x 集群规划 No 名称 内容 备注 1 用户 grid 2 用户组 hadoop 有权限运行hadoop,并可以使用jdk 3 服务器 Hadoop11: 192.168.1.211 Hadoop12: 192.168.1.212 Hadoop13: 192.168.1.213 4 系统 Cent OS 7 5 JDK版本 jdk-7…

在Hadoop1.2.1分布式集群环境下安装hive0.12 ● 前言: 1. 大家最好通读一遍过后,在理解的基础上再按照步骤搭建. 2. 之前写过两篇<<在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境>>.<在Hadoop1.2.1分布式集群环境下安装Mahout0.9框架>都是Hadoop家族一系列的,后续还会有其它内容,敬请期待! 3. 好记性不如烂笔头,最新突然想把自己学习的东西整理出来,然而我也是刚刚学习,而且水平有限,难免会错误,请谅…

一.设置Linux的静态IP 修改桌面图标修改,或者修改配置文件修改 1.先执行ifconfig,得到网络设备的名称eth0 2.编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件 设置静态ip.dns.ip地址.子网掩码.网关等信息 3.重启网卡:service network restart 最后执行ifconfig命令查看是否修改成功 该步骤需保证虚拟机中的Linux能与客户机在同一网段并且ping通 二.修改主机名 修改当前会话主机名(当前会话生效…

以下为在CentOS-6.4下hadoop-1.2.0源码编译步骤. 1. 安装并且配置ant 下载ant,将ant目录下的bin文件夹加入到PATH变量中. 2. 安装git,安装autoconf,安装automake,安装libtool 3. 修改saveVersion.sh文件 修改hadoop工程目录src目录下的saveVersion.sh文件,将user=‘whoami’中的‘whoami’改为实际的名字(如我的名字maybob,则改为:user=maybob). 4. 执行ant编…

linux.windows下通用,亲测. 下面以window为例,假设:hadoop工程目录位于D:\work\eclipse64\hadoop-1.2.0.1.3.0.0,eclipse安装目录为E:\DevelopTools\eclipse64. 1. 安装ant ant安装不再介绍. 2. 导入hadoop eclipse插件工程 hadoop eclipse工程位于hadoop工程目录的src\contrib\eclipse-plugin下,其默认的项目名称是 MapReduceTool…

国内私募机构九鼎控股打造APP,来就送 20元现金领取地址:http://jdb.jiudingcapital.com/phone.html 内部邀请码:C8E245J (不写邀请码,没有现金送) 国内私募机构九鼎控股打造,九鼎投资是在全国股份转让系统挂牌的公众公司,股票代码为430719,为“中国PE第一股”,市值超1000亿元.  ---------------------------------------------------------------------------------…

按包的顺序类的顺序来吧,因为我不懂hadoop类的具体体系和类之间的联系,如果有一定知识积累的可以看下别人写的hadoop源码解读类的书,类似的有 http://pan.baidu.com/s/1i3GGvvZ  .我看的模模糊糊,因为没基础. 这个包下面只有一个类 HadoopVersionAnnotation,它是一个注释类 /* * Licensed to the Apache Software Foundation (ASF) under one * or more contributo…

转自:http://blog.csdn.net/fenglibing/article/details/32916445 六.Hadoop1.x与Hadoop2的区别 1.变更介绍 Hadoop2相比较于Hadoop1.x来说,HDFS的架构与MapReduce的都有较大的变化,且速度上和可用性上都有了很大的提高,Hadoop2中有两个重要的变更: l HDFS的NameNodes可以以集群的方式布署,增强了NameNodes的水平扩展能力和可用性: l MapReduce将JobTracker中…

Hadoop安装分为三种不同模式: 本地模式:hadoop在运行时,不使用hdfs,而是使用linux操作系统的文件系统.(默认hadoop就是本地模式) 伪分布模式:在一个节点上运行hadoop(指的是hadoop的各个进程都是在我们的一个节点上都是开启的).hadoop的"运行机制"和集群模式相似, 集群模式:在生产中真正使用的,hadoop的各个进程运行在集群的很多节点上 集群开发环境部署: 因为是在笔记本上做的实验,所以这里我选择三台机器安装,下面是各个节点的分配: 172.1…

一:自定义实现InputFormat *数据源来自于内存 *1.InputFormat是用于处理各种数据源的,下面是实现InputFormat,数据源是来自于内存. *1.1 在程序的job.setInputFormatClass(MyselfmemoryInputFormat.class); *1.2 实现InputFormat,extends InputFormat< , >,实现其中的两个方法,分别是getSplits(..),createRecordReader(..). *1.3 g…

本文来自:http://www.ilablog.org/%E7%BC%96%E8%AF%91hadoop-eclipse%E6%8F%92%E4%BB%B6/ 本人由于工作原因目前没有亲自尝试,那位尝试如果出错可以将错误写在评论里,我们共同探讨. 一.所需软件 Windows 7旗舰版 Eclipse 3.7.0 Ant Cygwin hadoop-1.0.3 二.Ant和Cygwin安装 1.Ant安装 (1)将Ant解压放在合适目录:比如D盘. (2)配置Ant环境变量:D:\Ant\apa…

/×××××××××××××××××××××××××××××××××××××××××/ Author:xxx0624 HomePage:http://www.cnblogs.com/xxx0624/ /×××××××××××××××××××××××××××××××××××××××××/ 配置Hadoop1.2.1 前提是已经配置过JDK和SSH (如何配置JDK:http://www.cnblogs.com/xxx0624/p/4164744.html) (如何配置SSH:http://www.…