第七章 伪分布式安装hive,sqoop
第一部分:先讲这么去安装hive.先去hive官网下载,我这里以hive-0.12.0为例子。
前面第二章讲了安装hadoop,hbase实例,我们继续讲这么安装hive,先说下hive配置文件
一,先讲下使用Derby数据库的安装方式
1.tar zxvf hive-0.12.0.tar.gz 解压hive
2.sudo nano /etc/profile 配置环境变量,在原有的基础上加上hive配置
在终端输入 source /etc/profile 使环境变量对当前终端有效
3.cd /home/hadoop/hive-0.12.0/conf
默认配置文档不存在,所以我们根据模板创建另外2个配置文件,或者还有个方法,就是把原有4个配置文档后面的template删除
cp hive-default.xml.template hive-site.xml
cp hive-env.sh.template hive-env.sh
4.sudo nano hive-env.sh 修改hive-env.sh配置文件
5.sudo nano hive-site.xml文件,在文件的2000行,有一个不对称
把它修改过来就OK了
6.进入到hive的conf目录下,启动hive
二,使用MySQL数据库的安装方式
注意:配置mysql远程连接必须是root用户
1.先安装mysql服务器
sudo apt-get install mysql-server
2.安装完一搬都自动启动mysql了,如果没有启动,你在输入:
/etc/init.d/mysql start
如果启动了,就登陆mysql
mysql -u root -p
enter password :'123456'
3.设置远程操作mysql权限
GRANT ALL PRIVILEGES ON *.* to root @"%" identified by "123456";
mysql> use hive; (按回车键出现Database changed 时说明操作成功!)
查看现在的数据库中存在什么表
mysql> show tables;
创建一个数据库表
mysql> create table hive(name VARCHAR(20), sex CHAR(1));
显示表的结构:
7:往表中加入记录
mysql>
insert into hive values (”hyq”,”M”);
</property>
修改方法如下:
1:在服务端MySQL文件夹下找到my.ini文件。修改bind-address=127.0.0.1 为 bind-address=0.0.0.0
2:重新启动MySQL服务。
测试连接情况:
如果没有给远程登录用户添加所有机器都能访问的权限,将会出现“1045-Access denied for user ‘root@223123(using password:NO)”,这表明需要添加权限;
添加命令如下:
1)grant all on *.* to 用户名@"%" identified by "密码";
2)flush privileges;
完成以上步骤,就可以远程访问MySQL数据库了。
第二部分,讲下这么安装sqoop
1.先去官网下载sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz版本
2.在hadoop用户下,进行解压
tar zxvf sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz
3.配置环境变量 /etc/profile
sudo nano /etc/profile,在文件的末尾,把jdk,hadoop,hbase,hive,sqoop等一些工具都要进行配置
记住,sqoop文件不要写错。
4.把mysql-connector-java-5.1.24-bin.jar放到$SQOOP_HOME/lib文件里,然后把sqoop文件里的sqoop-1.4.4.jar放到
$HADOOP_HOME/lib文件下面
5.如果你没有用到hbase或者 hcat ,修改SQOOP的文件bin/configure-sqoop
sudo nano sqoop-1.4.4.bin__hadoop-1.0.0/bin/configure-sqoop,按照下面的注释掉
#if [ ! -d "${HBASE_HOME}" ]; then
#echo "Warning: $HBASE_HOME does not exist! HBase imports will fail."
#echo 'Please set $HBASE_HOME to the root of your HBase installation.'
#fi
## Moved to be a runtime check in sqoop.
#if [ ! -d "${HCAT_HOME}" ]; then
# echo "Warning: $HCAT_HOME does not exist! HCatalog jobs will fail."
#echo 'Please set $HCAT_HOME to the root of your HCatalog installation.'
#fi
这样子,sqoop就装成功了,测试
cd #SQOOP_HOME/bin,代表sqoop环境配置没有问题
sqoop version ,可以看到sqoop的信息
第七章 伪分布式安装hive,sqoop的更多相关文章
- 第二章 伪分布式安装hadoop hbase
安装单机模式的hadoop无须配置,在这种方式下,hadoop被认为是一个单独的java进程,这种方式经常用来调试.所以我们讲下伪分布式安装hadoop. 我们继续上一章继续讲解,安装完先试试SSH装 ...
- Hadoop大数据初入门----haddop伪分布式安装
一.hadoop解决了什么问题 hdfs 解决了海量数据的分布式存储,高可靠,易扩展,高吞吐量mapreduce 解决了海量数据的分析处理,通用性强,易开发,健壮性 yarn 解决了资源管理调度 二. ...
- CentOS6安装各种大数据软件 第七章:Flume安装与配置
相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...
- ZooKeeper:win7上安装单机及伪分布式安装
zookeeper是一个为分布式应用所设计的分布式的.开源的调度服务,它主要用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用,协调及其管理的难度,提高性能的分布式服务. 本章的目的:如何 ...
- 一.Kylin的伪分布式安装
一.伪分布式安装kylin 2018年4月15日 15:06 安装需要的环境 1. hadoop集群环境:由于安装的是CDH5.14.0的版本,所以相关组件都是跟5.14.0相关 2. spark采用 ...
- HBase基础和伪分布式安装配置
一.HBase(NoSQL)的数据模型 1.1 表(table),是存储管理数据的. 1.2 行键(row key),类似于MySQL中的主键,行键是HBase表天然自带的,创建表时不需要指定 1.3 ...
- Zookeeper 初体验之——伪分布式安装(转)
原文地址: http://blog.csdn.net/salonzhou/article/details/47401069 简介 Apache Zookeeper 是由 Apache Hadoop 的 ...
- Hadoop1.1.2伪分布式安装笔记
一.设置Linux的静态IP 修改桌面图标修改,或者修改配置文件修改 1.先执行ifconfig,得到网络设备的名称eth0 2.编辑/etc/sysconfig/network-scripts/if ...
- Hadoop单机和伪分布式安装
本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit 本机名称 hadoop001 本机IP ...
随机推荐
- Windows 2003/XP 连接vmware 5.5错误
参考文章:http://www.mamicode.com/info-detail-7253.html 补丁下载地址参考: http://support.microsoft.com/hotfix/KBH ...
- Android 4.0 Camera架构分析之Camera初始化
Android Camera 采用C/S架构,client 与server两个独立的线程之间使用Binder通信,这已经是众所周知的了.这里将介绍Camera从设备开机,到进入相机应用是如何完成初始化 ...
- 从小白开始学习iOS开发
从事iOS开发不经意间,已经两年过去了,记得当初看到OC是,我根本就不知道那些个东西是什么?从开始学习开机,到一个个英文开始,为了能找到工作,愣是耐下心去坚持看下去. 现在回想起来,很是庆幸我没有放弃 ...
- Underscore template
/********************************************************************* * Underscore template * 说明: * ...
- 【排序】希尔排序,C++实现
原创博文,转载请注明出处! 本文代码的github地址 # 基本思路 希尔排序是”直接插入排序“的改进版,也称为“缩小增量排序”.基本原理:先将待排序的数组元素分成多个序列,然后对每个子序 ...
- appium-java,切换源生app和webview
方法 public void swith_app(AndroidDriver AndroidDriver){ //切换到源生app System.out.println(AndroidDriver.g ...
- 每天一个linux命令(权限):【转载】chgrp命令
在lunix系统里,文件或目录的权限的掌控以拥有者及所诉群组来管理.可以使用chgrp指令取变更文件与目录所属群组,这种方式采用群组名称或群组识别码都可以.Chgrp命令就是change group的 ...
- Codeforces 808G Anthem of Berland【KMP】【DP】
LINK 简要题意 给你一个串s,上面有字母和一些通配符,问你将通配符换成字母之后最多可以出现多少次串t 首先有一个很傻子的做法就是\(dp_{i,j}\)表示s到第i个位置匹配t串前j个字符的完整t ...
- Codeforces 914H Ember and Storm's Tree Game 【DP】*
Codeforces 914H Ember and Storm's Tree Game 题目链接 ORZ佬 果然出了一套自闭题 这题让你算出第一个人有必胜策略的方案数 然后我们就发现必胜的条件就是树上 ...
- c语言标识符
在程序中使用的变量名.函数名.标号等统称为标识符. 除库函数的函数名由系统定义外,其余都由用户自定义. C 规定,标识符只能是字母(A-Z,a-z).数字(0-9).下划线()组成的字符串,并且其第一 ...