《Programming Hive》读书笔记(一)Hadoop和hive环境搭建
Chapter 1.Introduction 简单介绍
Chapter 2.Getting Started 环境配置
Hadoop版本号会更新,以官方安装教程为准
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation
For most of the book, it won’t matterwhich mode you’re using. We’llassume you’re
working on a personal machine in local mode and we’ll discussthe cases where the
mode matters.
When working with small data sets, usinglocal mode execution
will make Hive queries much faster. Settingthe property set
hive.exec.mode.local.auto=true;willcause Hive to use this mode more
aggressively, even when you are runningHadoop in distributed or pseudodistributed
mode. To always use this setting, add thecommand to
your $HOME/.hiverc file (see “The.hiverc File” on page 36).
对于Hadoop的不同模式,他们在不同的使用情境下性能也是各异的。
少量的数据,用local mode模式性能会更好。
两个Hadoop程序样例:
1 hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jarwordcount input output
这是wordcount词频统计程序。
2 hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jargrep input output 'dfs[a-z.]+'
这是grep程序,类似linux下的命令。
当中,input为输入文件夹,output为输出文件夹。输入文件夹须要先创建,输出文件夹不须要创建,且不能已存在。
Hive的官方安装
https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-InstallingHivefromaStableRelease
事实上Hadoop和hive的安装就是解压和配置环境变量。
只是hive须要创建两个文件夹才干正确执行
$ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp
$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse
不用hdfs也能够,本地模式直接创建。
另外mkdir须要加上-p才干一次创建多层文件夹
Linux须要注意的是,你用普通用户执行hive,假设hive程序须要在某些文件夹创建文件或者文件夹可是没有权限,那么就会执行出错。
比方上面的tmp和warehouse文件夹。
还有,在当前文件夹执行hive命令,
会自己主动在当前文件夹创建
-rw-rw-r-- 1 linger linger 678 Nov 12 00:03derby.log
drwxrwxr-x 5 linger linger 4096 Nov 12 00:03 metastore_db/
一个文件,一个文件夹。
假设hive在当前文件夹没有创建的权限。又会出错。
另外发现/etc/profile是用户登录时会自己主动生效的,
暂时生效办法能够 source /etc/profile。
另外,root没有登录。所以注销或者重新启动后,sudo su进入root,发现/etc/profile还是没有生效,眼下的解决方法是用source了。
只是能用普通用户先用普通用户。用普通用户得注意权限不足的问题。
额外资料:
http://wangshuxing123-126-com.iteye.com/blog/695653
chmod是Linux下设置文件权限的命令,后面的数字表示不同用户或用户组的权限。
通常是三个数字:
第一个数字表示文件全部者的权限
第二个数字表示与文件全部者同属一个用户组的其它用户的权限
第三个数字表示其他用户组的权限。
权限分为三种:读(r=4),写(w=2),运行(x=1) 。
综合起来还有可读可运行(rx=5=4+1)、可读可写(rw=6=4+2)、可读可写可运行(rwx=7=4+2+1)。
所以,chmod 755 设置用户的权限为:
1.文件全部者可读可写可运行 --7
2.与文件全部者同属一个用户组的其它用户可读可运行 --5
3.其他用户组可读可运行 --5
常见使用方法:
Chmod –R 777 target_dir
Chmod –R 755 target_dir
《Programming Hive》读书笔记(一)Hadoop和hive环境搭建的更多相关文章
- 《Programming Hive》读书笔记(两)Hive基础知识
<Programming Hive>读书笔记(两)Hive基础知识 :第一遍读是浏览.建立知识索引,由于有些知识不一定能用到,知道就好.感兴趣的部分能够多研究. 以后用的时候再具体看.并结 ...
- Mac OSX系统中Hadoop / Hive 与 spark 的安装与配置 环境搭建 记录
Mac OSX系统中Hadoop / Hive 与 spark 的安装与配置 环境搭建 记录 Hadoop 2.6 的安装与配置(伪分布式) 下载并解压缩 配置 .bash_profile : ...
- Hadoop学习笔记1:伪分布式环境搭建
在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下: 1.CentOS 6.7下安装JDK , 地址: http://blog.csdn.net/yule ...
- hadoop集群环境搭建之zookeeper集群的安装部署
关于hadoop集群搭建有一些准备工作要做,具体请参照hadoop集群环境搭建准备工作 (我成功的按照这个步骤部署成功了,经实际验证,该方法可行) 一.安装zookeeper 1 将zookeeper ...
- hadoop集群环境搭建之安装配置hadoop集群
在安装hadoop集群之前,需要先进行zookeeper的安装,请参照hadoop集群环境搭建之zookeeper集群的安装部署 1 将hadoop安装包解压到 /itcast/ (如果没有这个目录 ...
- hadoop集群环境搭建准备工作
一定要注意hadoop和linux系统的位数一定要相同,就是说如果hadoop是32位的,linux系统也一定要安装32位的. 准备工作: 1 首先在VMware中建立6台虚拟机(配置默认即可).这是 ...
- Hadoop集群环境搭建步骤说明
Hadoop集群环境搭建是很多学习hadoop学习者或者是使用者都必然要面对的一个问题,网上关于hadoop集群环境搭建的博文教程也蛮多的.对于玩hadoop的高手来说肯定没有什么问题,甚至可以说事“ ...
- 【转】Hadoop HDFS分布式环境搭建
原文地址 http://blog.sina.com.cn/s/blog_7060fb5a0101cson.html Hadoop HDFS分布式环境搭建 最近选择给大家介绍Hadoop HDFS系统 ...
- 分享知识-快乐自己:Liunx-大数据(Hadoop)初始化环境搭建
大数据初始化环境搭建: 一):大数据(hadoop)初始化环境搭建 二):大数据(hadoop)环境搭建 三):运行wordcount案例 四):揭秘HDFS 五):揭秘MapReduce 六):揭秘 ...
- 【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建
CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步:上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar ...
随机推荐
- 异构数据库迁移 db2---oracle
异构数据库迁移 其他数据库迁移到oracle,以移植db2数据库对象到Oracle的操作说明为例,其他数据库迁移到oracle类似. 移植之平台和相关工具 OS:linux DBMS:db2 Ora ...
- Javascript语言精粹之Array常用方法分析
Javascript语言精粹之Array常用方法分析 1.Array常用方法分析 1.1 Array.prototype.sort() Javascript的默认比较函数假定被排序元素都是字符串,所以 ...
- 详细分析Java中断机制(转)
1. 引言 当我们点击某个杀毒软件的取消按钮来停止查杀病毒时,当我们在控制台敲入quit命令以结束某个后台服务时……都需要通过一个线程去取消另一个线程正在执行的任务.Java没有提供一种安全直接的方法 ...
- Effective C++规定45 附加代码
这部分是额外的代码的博客.键45条款想法已经实现. #include<iostream> using namespace std; template<typename T> c ...
- Oracle Data Provider for .NET 的使用经验
原文:Oracle Data Provider for .NET 的使用经验 Oracle Data Provider for .NET 是Oracle提供的基于Ado.net接口的一个开发包. ...
- WPF之Binding深入探讨--Darren
1,Data Binding在WPF中的地位 程序的本质是数据+算法.数据会在存储.逻辑和界面三层之间流通,所以站在数据的角度上来看,这三层都很重要.但算法在3层中的分布是不均匀的,对于一个3层结构的 ...
- WPF对于xml的简单操作(下下)插入节点并排序
正如T所说,下下,这个方法不堪入目, ̄□ ̄|| 贴上再说 //先搞个struct声明 private struct datastruct { public string x; public strin ...
- 重新想象 Windows 8 Store Apps (5) - 控件之集合控件: ComboBox, ListBox, FlipView, ItemsControl, ItemsPresenter
原文:重新想象 Windows 8 Store Apps (5) - 控件之集合控件: ComboBox, ListBox, FlipView, ItemsControl, ItemsPresente ...
- WPF动态加载3D 放大-旋转-平移
原文:WPF动态加载3D 放大-旋转-平移 WavefrontObjLoader.cs 第二步:ModelVisual3DWithName.cs public class ModelVisual3DW ...
- 读取 raspberrypi 的cpu和gpu温度
#!/usr/bin/env python # -*- coding: utf-8 -*- import requests import json import time import command ...