前提:1.机器最好都做ssh免密登录,最后在启动hadoop的时候会简单很多 免密登录看免密登录 2.集群中的虚拟机最好都关闭防火墙,否则很麻烦 3集群中的虚拟机中必须安装jdk. 具体安装步骤如下: 1.将文件拷贝到linux系统中(可以拷贝到所以的虚拟机,也可以拷贝到一台虚拟机,最后进行复制) 2.解压到/usr/local/hadoop ,看你需要安装到哪个目录就解压到哪个目录,解压命令 tar -zxvf ~/hadoop-1.2.1-bin.tar.gz  -C /usr/local/…

1. ZooKeeper的安装: ZooKeeper是一个分布式的服务框架.可用于处理分布式的一些数据管理问题,如统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等. 步骤如下: a. 准备,下载ZooKeeper,可以从官网下载到,在这里给出一条链接:http://mirror.esocc.com/apache/zookeeper/zookeeper-3.4.5/ b.执行 tar -zxvf zookeeper-3.4.5.tar.gz,会出现zookeeper-3.4.5这个文…

一.hadoop版本介绍 不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进).Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称 CDH).Hortonworks版本(Hortonworks Data Platform,简称“HDP”),对于国内而言,绝大多数选择CDH版本. Cloudera的CDH和Apache的Hadoop对应关系: CDH的两个系…

摘要:hadoop,一个分布式系统基础架构,可以充分利用集群的威力进行高速运算和存储.本文主要介绍hadoop的安装与集群服务器的配置. 准备文件: ▪ VMware11.0.0      ▪ CentOS-6.5-x86_64-bin-DVD1.iso      ▪ jdk-6u45-linux-x64-rpm.bin      ▪ hadoop-1.2.1-1.x86_64.rpm 1.规划    功能              HOSTNAME             IP        …

0x00 大数据平台相关链接 官网:http://hadoop.apache.org/ 主要参考教程:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 0x01 hadoop平台环境 操作系统:CentOS-6.5-x86_64 Java版本:jdk_1.8.0_111 Hadoop版本:hadoop-1.0.3 0x02 安装操作系统(简要) 2.1 准备安装镜像 CentOS-6.5-x86_64-bin-DVD1…

一.背景 最近由于项目和论文的需要,需要搭建一个垂直搜索的环境,查阅了很多资料,决定使用Apache的一套解决方案hadoop+hbase+nutch+es.这几样神器的作用就不多作介绍了,自行参考各类百科就行了.我选择这样的方案主要是基于以下考虑: 1.可扩展,虽然只是实验环境,但是以后在项目中是要应用到生产中的,随着数据量的增大,需要的硬件设备能够方便的加入进来,所以选择了分布式的方案中最具人气的hadoop+hbase组合 2.数据来源兼容,nutch2以后集成了gora和tika,可以方…

本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,博主为石山园,博客地址为 http://www.cnblogs.com/shishanyuan  .该系列课程是应邀实验楼整理编写的,这里需要赞一下实验楼提供了学习的新方式,可以边看博客边上机实验,课程地址为 https://www.shiyanlou.com/courses/237 [注]该系列所使用到安装包.测试文件和代码可以在百度网盘下载,具体地址为 http://pan.baidu.c…

一.实验说明 1.本实验将使用DNS而不是hosts文件解析主机名: 2.使用NFS共享密钥文件,而不是逐个手工拷贝添加密钥: 3.复制Hadoop时使用批量拷贝脚本而不是逐台复制. 测试环境: Hostname IP Hadoop版本 Hadoop 功能 系统             hadoop1 192.168.1.161 0.20.0 namenode nfs服务器端  rhel5.4x86 hadoop2 192.168.1.162 0.20.0 datanode dns+nfs客服端…

安装环境:ubuntu kylin 14.04   haoop-1.2.1   hadoop下载地址:http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/ 1.安装JDK,这里要注意的是:要想在hadoop中使用,则需要在hadoop下输入命令:source  /etc/profile 来实现,然后用java -version 测试看看是否生效了. 2.创建hadoop用户和用户组(切换到root) 创建hadoop用户组   sudo ad…

最近在系统的学习hadoop 课程第一步是安装hadoop1.x,具体安装步骤如下: 一.系统安装 本文使用centos6.5安装,具体安装步骤省略 二.jdk安装 下载jdk1.7.0_51解压,在环境中 设置环境变量: vi /etc/profile,添加如下行: export JAVA_HOME=/usr/local/jdk1.7.0_51 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HO…