NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr5.2.1部署(一)
Precondition:
hadoop 2.7.1
Nutch 2.3
hbase 1.0.1.1 / hbase 0.98.13
solr 4.8.1
Linux version 3.16.0-4-amd64
jdk1.8.0_45
hadoop编译部署
1. 安装相关软件
apt-get install ssh rsync
apt-get install openssh-server
apt-get install maven
apt-get install autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev
hadoop 使用openjdk可能导致问题,必须使用sun jdk。也就是不能“apt-get install default-jdk”
这篇文章使用的都是jdk1.8.0_45
hadoop 须要使用protobuf2.5,不是最新的2.6,能够从我的资源里面下载,网上也有。
执行protoc 2.5 的时候须要加上export LD_LIBRARY_PATH=/usr/local/lib
2. ssh免password登录,网上有非常多參考
1) cd /root/
2) ssh-keygen -t rsa
/root/.ssh/下生成id_rsa和id_isa.pub两个文件
3) ssh-copy-id -i .ssh/id_rsa.pub root@192.168.1.106
将本机id_isa.pub复制到对方。
4) ssh 192.168.1.106
5) 遇到权限问题。能够尝试:
chmod 700 -R .ssh
chmod 644 /root/.ssh/authorized_keys
3. 编译hadoop前准备
export LD_LIBRARY_PATH=/usr/local/lib
export JAVA_HOME=/disk2/java/jdk1.8.0_45
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
4. mvn clean package -Pdist,native -DskipTests -Dtar
mvn可能由于下载挂住。停止再执行一下mvn package -Pdist,native -DskipTests -Dtar就好了
将编译好的tar文件解压就可以
5. 部署前准备,两台机器192.168.1.105(datanode) / 192.168.1.106(namenode / datanode)
下面改动都是在192.168.1.106上面改动,然后scp到另外机器
/etc/profile
export JAVA_HOME=/disk2/java/jdk1.8.0_45
export HADOOP_HOME=/disk2/hadoop/hadoop-2.7.1
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
6. $HADOOP_HOME/etc/hadoop/hadoop-env.sh
该文件是hadoop执行基本环境的配置。须要改动的为java虚拟机的位置。
export JAVA_HOME=${JAVA_HOME} =>
export JAVA_HOME=/disk2/java/jdk1.8.0_45
7. $HADOOP_HOME/etc/hadoop/yarn-env.sh
该文件是yarn框架执行环境的配置,相同须要改动java虚拟机的位置。
export JAVA_HOME=/disk2/java/jdk1.8.0_45
8. $HADOOP_HOME/etc/hadoop/slaves
直接输入机器IP就可以
192.168.1.105
192.168.1.106
9.參考改动:
$HADOOP_HOME/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.106:9000</value>
</property>
</configuration>
$HADOOP_HOME/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.http.address</name>
<value>192.168.1.106:50070</value>
</property> <property>
<name>dfs.namenode.secondary.http-address</name><value>192.168.1.106:50090</value>
</property> <property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/disk2/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/disk2/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
$HADOOP_HOME/etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.1.106:9001</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/disk2/hadoop/hdfs/mapred.system.dir</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/disk2/hadoop/hdfs/mapred.local.dir</value>
</property>
</configuration>
10. 创建必须文件夹
mkdir -p /disk2/hadoop/hdfs/mapred.local.dir
mkdir -p /disk2/hadoop/hdfs/mapred.system.dir
mkdir -p /disk2/hadoop/hdfs/name
mkdir -p /disk2/hadoop/hdfs/data
11.部署到其它机器
scp /etc/profile 192.168.1.105:/etc/
scp -r hadoop-2.7.1/ 192.168.1.105:/disk2/hadoop/
http://192.168.1.106:8088
应该都能訪问
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar pi 20 10
NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr5.2.1部署(一)的更多相关文章
- NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr5.2.1部署(三)
Precondition: hadoop 2.7.1 hbase 0.98.13 solr 5.2.1 / Apache Solr 4.8.1 http://archive.apache.org ...
- NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr5.2.1部署(二)
Precondition: hadoop 2.7.1 hbase 1.0.1.1 / hbase 0.98.13 192.168.1.106 ->master 192.168.1.105 ...
- hadoop2.6.0 + hbase-1.0.0 伪分布配置
1 基本配置 主机名: 192.168.145.154 hadoop2 ======= 2 etc/hadoop下文件配置 1)core-site.xml <configuration> ...
- Hadoop2.7.5+Hbase1.4.0完全分布式
Hadoop2.7.5+Hbase1.4.0完全分布式一.在介绍完全分布式之前先给初学者推荐两本书:<Hbase权威指南>偏理论<Hbase实战>实战多一些 二.在安装完全分布 ...
- Ubuntu 14.10 下ZooKeeper+Hadoop2.6.0+HBase1.0.0 的HA机群高可用配置
1 硬件环境 Ubuntu 14.10 64位 2 软件环境 openjdk-7-jdk hadoop 2.6.0 zookeeper-3.4.6 hbase-1.0.0 3 机群规划 3.1 zoo ...
- mac下安装伪分布hadoop2.6.0和hbase1.0.1.1
1.安装JDK,我安装的是java1.7 2.创建管理员账户 3.安装ssh服务(如果已有跳过此步) 4.ssh无密码验证登陆 以上过程略,可参考ubuntu下安装hadoop一文. 5.下载并解压h ...
- Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境 一.环境说明 个人理解:zookeeper可以独立搭建集群,hbase本身不能独立搭建集群需要和hadoo ...
- hadoop: hbase1.0.1.1 伪分布安装
环境:hadoop 2.6.0 + hbase 1.0.1.1 + mac OS X yosemite 10.10.3 安装步骤: 一.下载解压 到官网 http://hbase.apache.org ...
- HBase1.0以上版本的API改变
HBase1.0以上版本已经废弃了 HTableInterface,HTable,HBaseAdmin等API的使用,新增了一些API来实现之前的功能: Connectioninterface: Co ...
随机推荐
- Collection、List、Set、Map之间的关系
初学java,单个的接触有点迷糊,所以总结下他们的关系 一.关系 Collection --List:以特定顺序存储 --ArrayList.LinkList.Vector --Set:不能包含重复的 ...
- 在IDEA中代码自动提示第一个字母大小写必须匹配的解决
在IDEA中代码自动提示第一个字母大小写必须匹配的解决 学习了:http://blog.csdn.net/babys/article/details/41775715 setting>Edito ...
- Edison Chou
.NET中那些所谓的新语法之中的一个:自己主动属性.隐式类型.命名參数与自己主动初始化器 开篇:在日常的.NET开发学习中,我们往往会接触到一些较新的语法.它们相对曾经的老语法相比.做了非常多的改进, ...
- grep常见使用方法总结
grep -E 'l\{2,\}' 2.txt grep -E 'h(ell|a)o' test.txt grep '[a-z]\{5,\}' test.txt grep -xf a.txt b.tx ...
- 浅谈关于collection接口及相关容器类(一)
Collection在英文单词的意思是:採集,收集. 而在JAVA API 文档中它是一个收集数据对象的容器. Collection作为容器类的根接口.例如以下图(部分子接口未写出): waterma ...
- web服务启动spring自己主动运行ApplicationListener的使用方法
我们知道.一般来说一个项目启动时须要载入或者运行一些特殊的任务来初始化系统.通常的做法就是用servlet去初始化.可是servlet在使用spring bean时不能直接注入,还须要在web.xml ...
- mysql数据库连接工具类C3P0
package com.dl.network_flow.db; import java.sql.Connection; import java.sql.PreparedStatement; impor ...
- ES task管理
Task Management API The Task Management API is new and should still be considered a beta feature. Th ...
- hdoj--4501--小明系列故事——买年货(三维背包)
小明系列故事--买年货 Time Limit: 5000/2000 MS (Java/Others) Memory Limit: 65535/32768 K (Java/Others) Tota ...
- poj--3984--迷宫问题(bfs+路径记录)
迷宫问题 Time Limit: 1000MS Memory Limit: 65536KB 64bit IO Format: %I64d & %I64u Submit Status D ...