Hive篇之安装

1,安装 hive的版本的选择,是选择内置的数据库保存元数据,还是用外部的mysql之类的数据库保存元数据,同时,如果使用外置的mysql,需要注意对mysql远程访问的配置. 再就是关于文件的配置了,环境变量个配置,可以在系统的/etc/profile目录下配置hive所在的目录,还可以在hive 的conf目录中的hive-env.sh里面配置,在这里,env其实就是environment的缩写.再就是配置hive-site的文件,这个主要配置的是链接mysql的参数,如地址,用户名,密码等…

【OpenCV第一篇】安装OpenCV

[OpenCV第一篇]安装OpenCV 本篇主要介绍如何下载OpenCV安装程序,如何在VS2008下安装配置OpenCV,文章最后还介绍了一个使用OpenCV的简单小例子. <OpenCV入门指南>系列文章地址:http://blog.csdn.net/morewindows/article/category/1291764 可以到http://www.opencv.org.cn/index.php/Download,然后选一个较新版本下载.我下的是V2.3.1版本,下载地址是: http:…

Hive介绍及安装

Hive介绍及安装介绍: Hive是基于Hadoop的数据仓库解决方案.由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用Hive构建的数据仓库也秉承了这些特性. 简单来说,Hive就是在Hadoop上架了一层SQL接口,可以将SQL翻译成MapReduce去Hadoop上执行,这样就使得数据开发和分析人员很方便的使用SQL来完成海量数据的统计和分析,而不必使用编程语言开发MapReduce那么麻烦. Hive就是我们所说的使用传统的sql来分析海量数据的工具.可以把…

Hive环境的安装

hive是什么:hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能(HQL) hive有什么用 1.通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析 2.可以用来进行数据提取转化加载(ETL) 3.可以存储.查询和分析存储在 Hadoop 中的大规模数据的机制 4.允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的…

SaltStack入门到精通第一篇：安装SaltStack

SaltStack入门到精通第一篇:安装SaltStack 作者:纳米龙发布日期:2014-06-09 17:50:36 实际环境的设定: 系统环境: centos6 或centos5 实验机器: 192.168.1.100 软件需求: salt 套件,及其需求环境实验目的: 成功安装salt,并实现salt主从间通讯特殊设置: 其它目的: 安装SaltStack(下面简称为salt) epel安装:salt安装需要epel源支持,所以在安装salt前需要先安装epel包 #…

Hive环境的安装部署（完美安装）（集群内或集群外都适用）（含卸载自带mysql安装指定版本）

Hive环境的安装部署(完美安装)(集群内或集群外都适用)(含卸载自带mysql安装指定版本) Hive 安装依赖 Hadoop 的集群,它是运行在 Hadoop 的基础上. 所以在安装 Hive 之前,保证 Hadoop 集群能够成功运行. 同时,比如我这里的master.slave1和slave2组成的hadoop集群.hive的安装可以安装在任一一个节点上,当然,也可以安装在集群之外,取名为client.只需要ssh免密码通信即可. 1. 下载Hive 这里很简单,不多赘述. http:/…

Jenkins拾遗--第一篇（安装Jenkins）

起因近期由于工作需要做起了起了jenkins的维护.不做不知道,一搞发现里边全是小坑.两个月弄了一身泥.曾经小瞧了它,但是发现其实要弄好它不是那么容易的.有句知名的话"没有总结就没有提高.",尝试把这一段的工作总结下来.第一篇是安装Jenkins 相关的内容,不会把Jenkins的doc抄一遍,会写一些doc以外的东西. 版本考虑: 使用LTS的版本,不要有尝鲜心态(满满的bug),新特性不重要.但bug会让你很困扰. 选择Jenkins2以上的版本(这篇文章写于2017年),充分利…

Tools：downloading and Building EDK II工具篇：安装/使用EDKII源代码获取/编译工具[2.3]

Tools:Installing and using the Required Tools for downloading and Building EDK II工具篇:安装/使用EDKII源代码获取/编译工具[2.3] 2015-07 北京海淀区张俊浩 2. Setting Up EDKII Development Environment(EDKII开发环境的搭建) ->2.1 The General Procedure Of Setting Up EDKII Development …

ESP8266开发之旅基础篇② 如何安装ESP8266的Arduino开发环境

授人以鱼不如授人以渔,目的不是为了教会你具体项目开发,而是学会学习的能力.希望大家分享给你周边需要的朋友或者同学,说不定大神成长之路有博哥的奠基石... QQ技术互动交流群:ESP8266&32 物联网开发群号622368884,不喜勿喷一.你如果想学基于Arduino的ESP8266开发技术一.基础篇 ESP8266开发之旅基础篇① 走进ESP8266的世界 ESP8266开发之旅基础篇② 如何安装ESP8266的Arduino开发环境 ESP8266开发之旅基础篇③ ESP826…

【SQL系列】深入浅出数据仓库中SQL性能优化之Hive篇

公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[SQL系列]深入浅出数据仓库中SQL性能优化之Hive篇前言部分大家可以关注我的公众号,公众号里的排版更好,阅读更舒适. 正文部分一个Hive查询生成多个Map Reduce Job,一个Map Reduce Job又有Map,Reduce,Spill,Shuffle,Sort等多个阶段,所以针对Hive查询的优化可以大致分为针对MR…

从零自学Hadoop(14)：Hive介绍及安装

阅读目录序介绍安装系列索引本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序本系列已经有一个多月没更新了,期间涉及到找相关对应的工作,所幸的事,得到了几个offer,后来综合考虑来到了目前这家工作.希望在接下来的时间里,能融入整个社区中去,做出自己略微的贡献. 上一篇,我们列举了hadoop常用的命令,本应该给大家实战下命令的使用的,后来还是想大家自己下去试验试验,接下来开始初略介…

Hive on Spark安装配置详解（都是坑啊）

个人主页:http://www.linbingdong.com 简书地址:http://www.jianshu.com/p/a7f75b868568 简介本文主要记录如何安装配置Hive on Spark,在执行以下步骤之前,请先确保已经安装Hadoop集群,Hive,MySQL,JDK,Scala,具体安装步骤不再赘述. 背景 Hive默认使用MapReduce作为执行引擎,即Hive on mr.实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hi…

Hive集成HBase;安装pig

Hive集成HBase 配置将hive的lib/中的HBase.jar包用实际安装的Hbase的jar包替换掉 cd /opt/hive/lib/ ls hbase-0.94.2* rm -rf hbase-0.92* cp /opt/hbase/hbase-0.94.2* 将Hive的lib/中的zookeeper.jar包用HBase中lib/中的替换掉步骤同上在hive-site.xml中添加: <property> <name>hive.aux…

Hive介绍、安装（转）

1.Hive介绍 1.1 Hive介绍 Hive是一个基于Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据.它是Facebook 2008年8月开源的一个数据仓库框架,提供了类似于SQL语法的HQL语句作为数据访问接口,Hive有如下优缺点: l 优点: 1.Hive 使用类SQL 查询语法, 最大限度的实现了和SQL标准的兼容,大大降低了传统数据分析人员学习的曲线: 2.使用JDBC 接口/ODBC接口,开发人员更易开发应用: 3.以MR 作为计算引擎.HDFS 作为存储系统,为…

【转】 hive简介，安装配置常见问题和例子

原文来自: http://blog.csdn.net/zhumin726/article/details/8027802 1 HIVE概述 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,HIVE的设计,可以轻松实现数据汇总,ad-hoc查询和分析大量的数据.它提供了一种称为HIVE QL的查询语言,基于sql的语法,使用户熟悉HIVE QL的语法容易做ad-hoc查询,汇总和数据分析,同时,HIVE QL也使传统的map / reduce的程序员能够插…

我的第二篇--nginx安装问题之路径问题

这几天还是一直在搭建nginx,并且要在nginx的基础之上配置naxsi(WAF防火墙)并使它生效,但是随之而来的问题也会有很多,也许因为我是个新手,所以遇到的问题要多,不解的问题也要很多,不知道又没有一刻你为你在学习Linux的时候没有专心的研究过这些问题而感到有些遗憾.好了,下面我来说一下我遇到的一些问题解决和小小的总结. 在上一篇的时候,我总结过ubuntu上nginx+naxsi的安装,那是在初步的时候,按照某篇帖子的步骤安装下来,改动的只是我具体的路径,直到编译安装,都是按照命令一个…

hive集群安装配置

hive 是JAVA写的的一个数据仓库,依赖hadoop.没有安装hadoop的,请参考http://blog.csdn.net/lovemelovemycode/article/details/9154121(hadoop集群安装配置). 下面将一下hive集群的安装配置步骤: 1 下载 hive-0.10.0.tar.gz; 2 将 hive-0.10.0.tar.gz解压到 hadoop 目录(如/home/hadoop/hadoop-1.0.4/hive-0.10.0); 3 进入/h…

Hadoop之Hive篇

想了解Hadoop整体结构及各框架角色建议飞入这篇文章,写的很好:http://www.open-open.com/lib/view/open1385685943484.html .以下文章是本人参考各牛人文章总结出,主要是Hive的使用.参考自:http://www.blogjava.net/hengheng123456789/archive/2011/01/05/342354.html 1. Hive是什么 Hive是一个基于hadoop的数据仓库.Hive 是建立在 Hadoop 上的数据…

Hadoop生态组件Hive，Sqoop安装及Sqoop从HDFS/hive抽取数据到关系型数据库Mysql

一般Hive依赖关系型数据库Mysql,故先安装Mysql $: yum install mysql-server mysql-client [yum安装] $: /etc/init.d/mysqld start [启动mysql服务] $: mysql [登录mysql客户端] mysql> create database hive; 安装配置Hive $: tar zvxf apache-hive-2.1.1-bin.tar 1. 配置环境变量 export HIVE_HOME=/usr/l…

Hive数据仓库工具安装

一.Hive介绍 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单SQL查询功能,SQL语句转换为MapReduce任务进行运行. 优点是可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析.缺点是Hive不适合在大规模数据集上实现低延迟快速的查询. 二.安装Hive 环境:Docker(17.04.0-ce).镜像Ubuntu(16.04.3).JDK(1.8.0_144).…

第一篇：安装Android Studio问题及其解决方案

ubuntu18.04配置android studio3.2.1环境 1.JDK安装与配置:https://www.cnblogs.com/yuanbo123/p/5819564.html(按照文档操作,基本没什么问题) 2.android sdk 配置 android sdk的安装包下载完成后, 可以在/opt 目录下新建目录android ,将安装包移动到/opt/android 目录,在命令行输入如下指令: tar -xzvf xxx.tgz 会得到解压后的android-sdk-l…

Hive学习笔记——安装和内部表CRUD

1.首先需要安装Hadoop和Hive 安装的时候参考 http://blog.csdn.net/jdplus/article/details/46493553 安装的版本是apache-hive-2.1.1-bin.tar.gz,解压到/usr/local目录下然后在/etc/profile文件中添加 export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin 2.修改配置文件在bin/hive-config.sh文件…

hive的本地安装部署，元数据存储到mysql中

要想使用Hive先要有hadoop集群的支持,使用本地把元数据存储在mysql中. mysql要可以远程连接: 可以设置user表,把localhost改为%,所有可连接.记住删除root其他用户,不然可能会有影响 update user set host='%' where host='localhost'; Hive的安装部署: 1.解压tar文件 2.修改文件: 修改conf/下面的文件: cp hive-env.sh.tempalte hive-env.sh 配置hive-env.sh文…

hive介绍、安装配置、表操作基础知识适合小白学习

1.hive概述 Apache Hive数据仓库软件有助于使用SQL读取,编写和管理驻留在分布式存储中的大型数据集.可以将结构投影到已存储的数据中.提供了命令行工具和JDBC驱动以将用户连接到Hive. 2.hive优缺点优点: (1)操作接口采用了sql,简化开发,减少学习成本. (2)避免手写mapreduce程序 (3)hive执行延迟较高,使用场景大多用在实时性要求不强的情景 (4)优点在于处理大数据 (5)支持自定义函数缺点: (1)hive的sql表达能力有限(HSQL) (2)…

[转]RobotFrameWork+APPIUM实现对安卓APK的自动化测试----第一篇【安装】

前言:关于RobotFrameWork+APPIUM实现对安卓APK的自动化测试的文章都是取自于乐于分享知识于网络的好心人们,所以我也希望我的知识可以分享给大家. 首先我们先罗列一下我们要安装的软件 1. JDK ,本人用的是1.7的版本; 2. SDK; 3. Appium; 4. Python27; 5. wxPython,科普:wxPython是Python语言的一套优秀的GUI图形库; 6. RobotFrameWork; 7. Ride 1.5; 8. Selenium 2.47; 9…