Hadoop分支

  • Apache
  • Cloudera
  • Hortonworks

本文是采用Cloudera分支的hadoop。

下载cdh-5.3.6 版本

下载地址:http://archive.cloudera.com/cdh5/cdh/5/

各组件版本一定保持一致。

  • cdh5.3.6-snappy-lib-natirve.tar.gz
  • hadoop-2.5.0-cdh5.3.6.tar.gz
  • hive-0.13.1-cdh5.3.6.tar.gz
  • sqoop-1.4.5-cdh5.3.6.tar.gz

安装配置

  • 配置好jdk
  • 上传到ubuntu /opt/software/cdh。
  • tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/cdh-5.3.6
  • tar -zxvf hive-0.13.1-cdh5.3.6.tar.gz -C /opt/cdh-5.3.6

修改hadoop-env.sh、yarn-env.sh、mapred-env.sh中JAVA_HOME 配置core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hp-expert.tianpo.com:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/data/tmp</value>
</property>
</configuration>

配置hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hp-expert.tianpo.com:50090</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>hp-expert.tianpo.com:50070</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

配置mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hp-expert.tianpo.com:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hp-expert.tianpo.com:19888</value>
</property>
</configuration>

配置yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hp-expert.tianpo.com</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>640800</value>
</property>
</configuration>

配置slaves

hp-expert.tianpo.com

格式化namenode

cd /opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6

bin/hdfs namenode -format

启动

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

sbin/mr-jobhistory-daemon.sh start historyserver

检查jps:

  • 1905 NameNode
  • 2354 NodeManager
  • 2499 JobHistoryServer
  • 2084 ResourceManager
  • 1991 DataNode
  • 2538 Jps

访问:http://hp-expert.tianpo.com:50070/ 如果打不开,检查是否有端口在监听:netstat –ant 50070

检查host配置:格式为(不能以用127.0.0.1):IP 域名

配置hive

配置hive-env.sh

# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6 # Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/conf

配置hive-log4j.properties

hive.log.threshold=ALL
hive.root.logger=WARN,DRFA
hive.log.dir=/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs
hive.log.file=hive.log

配置hive.site.xml(touch hive.site.xml)

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://host:3306/metadata?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>***</value>
</property> <property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>***</value>
</property>
<property>
<name>hive.cli.print.header</name>
<value>true</value>
</property> <property>
<name>hive.cli.print.current.db</name>
<value>true</value>
</property>
<property>
<name>hive.fetch.task.conversion</name>
<value>more</value>
</property>
</configuration>

需要把jdbc驱动上传到hive/lib下(mysql-connector-java-5.1.27.jar),注意对应的版本。

在hdfs中创建hive数据仓库目录

bin/hdfs dfs -mkdir -p /user/hive/warehouse

bin/hdfs dfs -chomd g+w /user/hive/warehouse

启动hive : bin/hive

测试hive

create table student(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

从外部加载数据:

load data local inpath '/opt/datas/student.txt'into table student ;

web站点

  • http://hp-expert.tianpo.com:50070
  • http://hp-expert.tianpo.com:8088/cluster

Hadoop伪分布式环境快速搭建的更多相关文章

  1. hadoop伪分布环境快速搭建

    1.首先下载一个完成已经进行简单配置好的镜像文件(hadoop,HBASE,eclipse,jdk环境已经搭建好,tomcat为7.0版本,建议更改为tomcat8.5版本,运行比较稳定). 2安装V ...

  2. 【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建

    CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步:上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar ...

  3. CentOS7下Hadoop伪分布式环境搭建

    CentOS7下Hadoop伪分布式环境搭建 前期准备 1.配置hostname(可选,了解) 在CentOS中,有三种定义的主机名:静态的(static),瞬态的(transient),和灵活的(p ...

  4. 基于Centos搭建 Hadoop 伪分布式环境

    软硬件环境: CentOS 7.2 64 位, OpenJDK- 1.8,Hadoop- 2.7 关于本教程的说明 云实验室云主机自动使用 root 账户登录系统,因此本教程中所有的操作都是以 roo ...

  5. Hadoop学习笔记(一):ubuntu虚拟机下的hadoop伪分布式集群搭建

    hadoop百度百科:https://baike.baidu.com/item/Hadoop/3526507?fr=aladdin hadoop官网:http://hadoop.apache.org/ ...

  6. 《OD大数据实战》Hadoop伪分布式环境搭建

    一.安装并配置Linux 8. 使用当前root用户创建文件夹,并给/opt/下的所有文件夹及文件赋予775权限,修改用户组为当前用户 mkdir -p /opt/modules mkdir -p / ...

  7. Hadoop伪分布式环境搭建+Ubuntu:16.04+hadoop-2.6.0

    Hello,大家好 !下面就让我带大家一起来搭建hadoop伪分布式的环境吧!不足的地方请大家多交流.谢谢大家的支持 准备环境: 1, ubuntu系统,(我在16.04测试通过.其他版本请自行测试, ...

  8. [转]搭建Hadoop伪分布式环境

    https://my.oschina.net/MyHeaven1987/blog/1821509 http://hadoop.apache.org/docs/current/hadoop-projec ...

  9. hadoop伪分布式集群搭建与安装(ubuntu系统)

    1:Vmware虚拟软件里面安装好Ubuntu操作系统之后使用ifconfig命令查看一下ip; 2:使用Xsheel软件远程链接自己的虚拟机,方便操作.输入自己ubuntu操作系统的账号密码之后就链 ...

随机推荐

  1. [Algorithms] Divide and Recurse Over an Array with Merge Sort in JavaScript

    Merge sort is a recursive sorting algorithm. If you don't understand recursion, I recommend finding ...

  2. JAVA Eclipse如何设置编程环境字体

    窗口-首选项-常规-外观-颜色和字体,文本字体  

  3. C4:原型模式 Prototype

    用原型实例指定创建对象的种类,并且拷贝这些原型创建新的对象.应用场景: A.用new创建对象通常有较为复杂的数据准备或权限准备B.对象较大,拷贝对象可以节省内存 UML图: class WorkExp ...

  4. Git命令学习之旅——日志和穿梭版本号

    在总结了git命令的基础之后,接下来我们看一下基础的一些进阶内容:删除撤销命令.日志查看命令等 既然有加入文件的功能,那么相相应的肯定有移除文件的功能,命令例如以下:git rm [文件名称] 在输入 ...

  5. 设计模式之十一:抽象工厂模式(Abstract Factory)

    抽象工厂模式: 提供了一个创建一系列相关的或相互依赖的对象的接口而不须要详细指定它们的类型. Provide an interface for creating families of related ...

  6. 两个页面相同js方法兼容

    1. a.js页面 //Js获取Url参数 function request(paras) { var url = location.href; var paraString = url.substr ...

  7. FormatFloat

    http://www.delphibasics.co.uk/RTL.asp?Name=FormatFloat 1  function FormatFloat ( const Formatting : ...

  8. 关于javaSocket中 Software caused connection abort: recv failed问题

    在学习Socket中今天突然遇到了以下这种问题 原来是网路连接出了问题,由于我測试的是远程连接所以是在学校的局域网下,结果非常不稳定,開始还以为怎么了一会连上了一会又出现故障然后把IP地址改为本机的1 ...

  9. elasticsearch报错syncedb_path

    一般默认syncdb_path在$HOME目录下隐藏文件,也可以自己指定一个文件,记住,这里只能指定文件,不能只写目录input { file { path => "/home/tom ...

  10. idea实时编译代码

    实时编译就不解释了,出现错误的代码在命令行能给你提示出来.看图操作吧: