前言: 目前,学习hadoop的目的是想配合其它两个开源软件Hbase(一种NoSQL数据库)和Nutch(开源版的搜索引擎)来搭建一个知识问答系统,Nutch从指定网站爬取数据存储在Hbase数据库的表中,而Hbase运行在Hadoop之上. 学习Hadoop已有数月,想把自己的积累晒出来,一者温故知新,二者与大家分享.写文章挺费时间的,所以文风尽量简洁.若欲了解细节可发帖讨论,交个朋友. 水平有限,还望指正! 一.使用环境 操作系统:Ubuntu12.04 Hadoop版本:1.0.4 二.…

一.安装前准备设置Linux的静态IP修改VirtualBox的虚拟网卡地址修改主机名把hostname和ip绑定关闭防火墙:service iptables stop二.SSH免密码登陆生成秘钥文件测试免密码登陆是否成功三.安装JDK1. 授予执行权限2. 解压缩3. 配置环境变量4. 测试安装四.安装Hadoop1.解压缩hadoop-1.1.2.tar.gz2.添加到环境变量中3.使设置立即生效4.修改hadoop的配置文件配置hadoop-env.sh配置core-site.xml配置h…

一.设置Linux的静态IP 修改桌面图标修改,或者修改配置文件修改 1.先执行ifconfig,得到网络设备的名称eth0 2.编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件 设置静态ip.dns.ip地址.子网掩码.网关等信息 3.重启网卡:service network restart 最后执行ifconfig命令查看是否修改成功 该步骤需保证虚拟机中的Linux能与客户机在同一网段并且ping通 二.修改主机名 修改当前会话主机名(当前会话生效…

1.采用伪分布模式安装      将hadoop-****.tar.gz复制到linux的/usr/local目录下. 2.解压,重命名      #tar -xzvf hadoop-1.0.4.tar.gz        #mv hadoop-1.0.4 hadoop 3.配置环境变量      vi /etc/profile,在文件java_home后添加,export HADOOP_HOME=/usr/local/hadoop      在PATH后面添加:$HADOOP_HOME/bin…

Hadoop1.2.1 单机模式安装 Hadoop组件依赖图(从下往上看) 安装步骤: 详细步骤: 设置ssh自动登录(如下图): 1.输入命令 [ssh-keygen -t rsa],然后一直按回车就可以了 2.然后切换目录到 ~ .ssh目录下执行命令[cp id_rsa.pub authorized_keys] 3.这样就完成了,然后测试 1) 输入命令[ssh localhost],然后输入[yes],就会登陆成功另外会看到原本的 .ssh目录变成了 ~ 目录 2) 输入命令[exit]…

官方下载网址:http://storm.apache.org/downloads.html 1.第一步我们先从官网下载解压包  2.然后进行解压 3.配置环境变量 在profile里面插入如下格式语句 export STORM_HOME=/安装路径/apache-storm-2.1.0  export PATH=${STORM_HOME}/bin:$PATH 按下Ese然后:wq!进行保存 4.激活刚刚的修改  5.修改配置 根据自己的需要修改配置,因为我是伪分布,所以没有从节点 storm.l…

完整安装过程参考:http://www.cnblogs.com/shishanyuan/p/4147580.html 一.环境准备    1.安装linux.jdk      2.下载hadoop2.6.0,并解压 二.安装 1.安装jdk 下载jdk,最好使用较新版本,最低不能低于jdk1.6 解压 :tar  -zxvf  jdk-7u40-linux-i586.tar.gz 配置环境: 添加JAVA_HOME,CLASSPATH环境变量: 使用vi /etc/profile命令编辑prof…

需要下载的软件: 1.hadoop-2.6.4.tar.gz 下载网址:http://hadoop.apache.org/releases.html 2.scala-2.11.7.tgz 下载网址:http://www.scala-lang.org/ 3.spark-1.6.0-bin-hadoop2.6.tgz 下载网址:http://spark.apache.org/ 4.jdk-8u73-linux-x64.tar.gz 下载网址:http://www.oracle.com/technet…

adoop 0.20.2伪分布式安装详解 hadoop有三种运行模式: 伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式. 完全分布式至少有3个节点,其中一个做master,运行名称节点(namenode).作业跟踪器(jobtracker)等主要进程,另外两个做datanode,运行tasktracker,最好有两个,否则没有冗余,谈不上集群. 下载hadoop 0.20.2安装包: http://archive.apache.org/dist/hadoop/core/ha…

Hadoop伪分布式安装之Linux环境准备 一.软件版本 VMare Workstation Pro 14 CentOS 7 32/64位 二.实现Linux服务器联网功能 网络适配器双击选择VMnet8 2.1 VMare NAT工作模式 只有CentOS和Windows中的VMnet8生成的虚拟网卡都在VMare虚拟网关字段中才能组成一个网络,实现联网功能. 2.2 VMare设置 1.打开VMare -> 编辑 -> 虚拟网络编辑器 2.VMnet8 -> NAT设置 ->…