Hive之单独部署机器

环境说明 CentOS7,hadoop-2.6.5,hive-1.2.2,MariaDB-5.5.60,jdk-1.8 假设hive机已经安装好了MariaDB(已启动且已创建好hive账号,对hive数据库有所有权限)和jdk copy一份hadoop2.6.5到hive机器只需要保留 bin, etc, libexec, share四个目录即可,share/doc目录可以删除 [root@wadeyu hadoop-2.6.5]# pwd /usr/local/src/hadoop-2.6…

【Hadoop离线基础总结】Hive的安装部署以及使用方式

Hive的安装部署以及使用方式安装部署 Derby版hive直接使用 cd /export/softwares 将上传的hive软件包解压:tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/ cd /export/servers/hive-1.1.0-cdh5.14.0/ 启动:bin/hive 缺点:多个地方安装hive后,每一个hive是拥有一套自己的元数据,大家的库.表就不统一: 使用mysql共享hive元数据 1.国内下载mysq…

silverlight如何通过单独部署的WCF站点访问sharepoint2013的图片库

最近有项目silverlight通过单独部署的WCF站点访问sharepoint2013的图片库,需要做个笑脸墙效果如下: 结果开发完毕后无法在SP站点显示出来.使用VS自带的WCF工具进行测试.如下: C:\Program Files (x86)\Microsoft Visual Studio 12.0\Common7\IDE 找到WcfTestClient.exe 如下图: 双击其中一个方法,可以进行测试... 经过测试发现无权限,于是想到应用程序池,把WCF部署的站点的应用程序池设置成当前…

cobbler部署机器的默认密码

修改cobbler的默认密码: 用 openssl 生成一串密码后加入到 cobbler 的配置文件(/etc/cobbler/settings)里,替换 default_password_crypted 字段:# openssl passwd -1 -salt 'random-phrase-here' '1234567890'$1$random-p$RkqDMTpuNlZZhJ7moLn3Q.# vi /etc/cobbler/settings default_password_cry…

如何将phantomjs单独部署在服务端

如何将phantomjs单独部署在服务端文章目录一. 容我分析(lao dao)几句二. 服务端 Look here 服务端phantomjs搭建 web端搭建及如何调用phantomjs 三. 效果展示啦 hey,every one ,很久没给大家分享技术型的文章啦,今天抽时间来一发吧一. 容我分析(lao dao)几句之前写了2篇 highcharts 结合 phantomjs 后端生成图片的文章,http://www.peng8.net/2014/07/21/render-cha…

百度分享不支持https的解决方案（单独部署静态文件）

首先是参考了博客,下载百度分享的静态代码 static 链接为:https://www.cnblogs.com/mmzuo-798/p/6434576.html 后来在nginx的 nginx.conf文件中添加location ^~ /static/ { root E:/Workspaces/Idea15/demo/web/WEB-INF;} 这段代码在windows中测试有用,但是在linux中改下路径没用. 最后的解决办法,没有深究nginx的问题,而是一种更简单的通用方法,单独部署静态文…

QPS、PV和需要部署机器数量计算公式

QPS:Queries Per Second意思是“每秒查询率”,是一台服务器每秒能够相应的查询次数,是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准. TPS是 TransactionsPerSecond的缩写,也就是事务数/秒.它是软件测试结果的测量单位.一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程.客户机在发送请求时开始计时,收到服务器响应后结束计时,以此来计算使用的时间和完成的事务个数,最终利用这些信息来估计得分.客户机使用加权协函数平均方法来计算客户机…

windows下在Eclipse中启动的tomcat没有乱码，单独部署到tomcat下乱码解决方案

今天遇到了一个很奇怪的问题,在Eclipse中调试,运行项目一切正常,项目的所有编码都是统一的UTF-8.但是在单独部署到tomcat上的时候出现了中文乱码. 解决方案第一步:确保项目,jsp页面,数据库编码统一使用UTF-8. 第二步:修改tomcat的参数第一处 tomcat安装路径/conf/server.xml <Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20…

Hadoop入门第五篇:Hive简介以及部署

标签(空格分隔): Hadoop Hive hwi 1.Hive简介之前我一直在Maxcompute上进行大数据开发,所以对数仓这块还算比较了解,在接受Hive的时候基本上没什么大的障碍.所以,有需求用到hive的同学,应该对数据仓库相关概念以及数仓设计模型有了大致的了解了.简单来说,Hive是一个基于Hadoop文件系统智商的数据仓库架构(数据存储还是HDFS),它为数仓的管理提供了:ETL工具,数据存储管理以及大型数据集的查询和分析功能. 此外,Hive还提供了HiveQL,类似S…

Spark入门实战系列--5.Hive（上）--Hive介绍及部署

[注]该系列文章以及使用到安装包/测试数据可以在<倾情大奉送--Spark入门实战系列>获取 .Hive介绍 1.1 Hive介绍月开源的一个数据仓库框架,提供了类似于SQL语法的HQL语句作为数据访问接口,Hive有如下优缺点: l 优点: 1.Hive 使用类SQL 查询语法, 最大限度的实现了和SQL标准的兼容,大大降低了传统数据分析人员学习的曲线: 2.使用JDBC 接口/ODBC接口,开发人员更易开发应用: 3.以MR 作为计算引擎.HDFS 作为存储系统,为超大数据集设计的计…

swift 单独部署，开发

部署环境 virtualBox Ubuntu 14.04 desktop OpenStack Swift (kilo) 说明此文档为基于官方修改的只针对Ubuntu 14.04,完整的参阅官方文档本部署为开发环境,Swift配置为以root权限运行,生产环境推荐新建用户swift 以下安装命令全部以root身份运行安装依赖 apt-get update apt-get install curl gcc memcached rsync sqlite3 xfsprogs git python-…

单独部署activemq-web-console (转载)

activemq-web-console的默认使用方式是通过在activemq.xml中导入jetty.xml配置一个jetty server来实现的. 其实activemq-web-console完全可以和activemq-broker分开来部署. 部署的两种方式: 1.直接把apache-activemq-5.7.0-bin.zip/webapps部署到web容器,添加必要的jar包即可. 2.也可以下载单独的war包来部署:http://repo1.maven.org/maven2/org…

Hive安装与部署集成mysql

前提条件: 1.一台配置好hadoop环境的虚拟机.hadoop环境搭建教程:稍后补充 2.存在hadoop账户.不存在的可以新建hadoop账户安装配置hadoop. 安装教程: 一.Mysql安装 1.安装mysql命令:Yum install mysql-server -y (-y参数作用为所有需要输入yes的地方默认yes) 2.打开mysql服务:Service mysqld start 3.设置mysql服务开机自启动(也可以不设置,开机手动启动):chkconfig –add my…

Hive安装和部署

在root的用户下搭建的构建hive之前必须要先搭建好hadoop才可以. hive定义了一种类似SQL查询语言--HQL 类似SQL ,但是不完全相同 Hive是一个数据仓库,它部署在Hadoop集群上,它的数据是存储在HDFS上的,Hive所建的表在HDFS上对应的是一个文件夹,表的内容对应的是一个文件. 1):前提安装Hadoop 2.x版本 2):先安装mysql 命令: apt-get install mysql-server 3):下载hive 命令:wget https://…

Hive的原生部署方式

一.Hive的部署 1.官方文档 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 2.前提条件需要安装JDK1.7之上版本 Hadoop2.x以上版本一般选择在Linux上运行元数据库Mysql 使用CDH-5.16.2的版本:wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.16.2.tar.gz 3.安装步骤 1)解压:tar -zxvf…

Hive的安装部署

1.环境准备 1.1软件版本 hive-0.14 下载地址 2.配置安装hive的前提,必需安装好hadoop环境,可以参考我之前Hadoop社区版搭建,先搭建好hadoop环境:接下来我们开始配置hive 2.1环境变量 sudo vi /etc/profile HIVE_HOME=/home/hadoop/source/hive- PATH=$HIVE_HOME/bin export HIVE_HOME 2.2hive-site.xml <configuration> <prope…

QPS、PV和需要部署机器数量计算公式(转)

术语说明: QPS = req/sec = 请求数/秒 [QPS计算PV和机器的方式] QPS统计方式 [一般使用 http_load 进行统计] QPS = 总请求数 / ( 进程总数 * 请求时间 ) QPS: 单个进程每秒请求服务器的成功次数单台服务器每天PV计算公式1:每天总PV = QPS * 3600 * 6 公式2:每天总PV = QPS * 3600 * 8 服务器计算服务器数量 = ceil( 每天总PV / 单台服务器每天总PV ) [峰值QPS和机器计算公式]…

[Z]QPS、PV和需要部署机器数量计算公式

QPS = req/sec = 请求数/秒 [QPS计算PV和机器的方式] QPS统计方式 [一般使用 http_load 进行统计]QPS = 总请求数 / ( 进程总数 * 请求时间 )QPS: 单个进程每秒请求服务器的成功次数单台服务器每天PV计算公式1:每天总PV = QPS * 3600 * 6公式2:每天总PV = QPS * 3600 * 8 服务器计算服务器数量 = ceil( 每天总PV / 单台服务器每天总PV ) [峰值QPS和机器计算公式] 原理:每天80%的访…

Hive学习之路（二）—— Linux环境下Hive的安装部署

一.安装Hive 1.1 下载并解压下载所需版本的Hive,这里我下载版本为cdh5.15.2.下载地址:http://archive.cloudera.com/cdh5/cdh/5/ # 下载后进行解压 tar -zxvf hive-1.1.0-cdh5.15.2.tar.gz 1.2 配置环境变量 # vim /etc/profile 添加环境变量: export HIVE_HOME=/usr/app/hive-1.1.0-cdh5.15.2 export PATH=$HIVE_HOME/…

Hive安装与部署

进去root权限(su) 1.从https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz获取镜像地址选择版本下载(此处使用清华开源的Apache-hive1.2.2版本) wget 下载地址 2.解压安装hive -bin.tar.gz 3.设置hive环境变量 vim /etc/profile 加入(根据自己安装的路径来写) export HIVE_HOME=/usr/loc…

Hive 系列（二）—— Linux 环境下 Hive 的安装部署

一.安装Hive 1.1 下载并解压下载所需版本的 Hive,这里我下载版本为 cdh5.15.2.下载地址:http://archive.cloudera.com/cdh5/cdh/5/ # 下载后进行解压 tar -zxvf hive-1.1.0-cdh5.15.2.tar.gz 1.2 配置环境变量 # vim /etc/profile 添加环境变量: export HIVE_HOME=/usr/app/hive-1.1.0-cdh5.15.2 export PATH=$HIVE_HOM…

大数据之路week07--day05 （Hive的搭建部署）

在之前博客中我有记录安装JDK和Hadoop和Mysql的过程,如果还没有安装,请先进行安装配置好,对应的随笔我也提供了百度云下载连接. 安装JDK: https://www.cnblogs.com/wyh-study/p/12014368.html 安装Hadoop https://www.cnblogs.com/wyh-study/p/12043948.html 安装Mysql https://www.cnblogs.com/wyh-study/p/12044652.html…

Tomcat单独部署,控制台乱码解决方法

使用Tomcat作为容器,部署项目的时候,发现控制台总是乱码,乱码如下打开Tomcat的部署目录找到这一行,将UTF-8改成GBK java.util.logging.ConsoleHandler.level = FINE java.util.logging.ConsoleHandler.formatter = java.util.logging.SimpleFormatter java.util.logging.ConsoleHandler.encoding = UTF-8 //更改成GB…

jenkins：构建机器为windows，部署机器为linux

备份老的jar包 d=`date +"%Y%m%d-%H%M%S"` cd /home/eccore/app/uat -SNAPSHOT.jar steward-api--SNAPSHOT-$d.jar 从windows向linux传输文件 cd C:\Windows\System32 pscp.exe -l eccore -pw "!**密码**" -r "E:\sonar\workspace\A网-客户管家项目-后台部署\steward-api\tar…

hive+postgres安装部署过程

master节点安装元数据库,采用postgres:#useradd postgres#password postgressu - postgreswget https://ftp.postgresql.org/pub/source/v10beta2/postgresql-10beta2.tar.gztar zxvf postgresql-10beta2.tar.gzcd postgresql-10beta2 ./configuremakesumake install mkdir /usr/lo…

Hive(十三)【Hive on Spark 部署搭建】

Hive on Spark 官网详情:https://cwiki.apache.org//confluence/display/Hive/Hive+on+Spark:+Getting+Started 一.安装Hive 具体安装参考:Hive(一)[基本概念.安装] 安装和Spark对应版本一起编译的Hive,当前官网推荐的版本关系如下: HiveVersion SparkVersion 1.1.x 1.2.0 1.2.x 1.3.1 2.0.x 1.5.0 2.1.x 1.6.0 2.2.x 1…