附录C 编译安装Hive

如果需要直接安装Hive,可以跳过编译步骤,从Hive的官网下载编译好的安装包,下载地址为http://hive.apache.org/downloads.html . C.1 编译Hive C.1.1 下载Hive源代码包在Hive的官网下载页面上下载,为加快下载速度选择中国境内的镜像,并下载apache-hive-1.2.1-src.tar.gz源代码包.下载后把安装包方放在目录/home/spark/work目录下,用如下命令解压缩hive安装文件: $cd /home/spark…

附录A 编译安装Hadoop

A.1 编译Hadoop A.1.1 搭建环境第一步安装并设置maven 1. 下载maven安装包建议安装3.0以上版本(由于Spark2.0编译要求Maven3.3.9及以上版本),本次安装选择的是maven3.3.9的二进制包,下载地址如下: http://mirror.bit.edu.cn/apache/maven/maven-3/ 2. 上传git并解压缩把下载的maven安装包上传到/home/spark/work目录,使用如下命令解压缩并把文件夹移动到/app/sof…

（转载）Linux如何编译安装源码包软件

一.什么是源码包软件: 顾名思义,源码包就是源代码的可见的软件包,基于Linux和BSD系统的软件最常见:在国内源可见的软件几乎绝迹:大多开源软件都是国外出品:在国内较为出名的开源软件有fcitx;lumaqq;Lumaqq及scim等: 但软件的源代码可见并不等于软件是开源的,我们还要以软件的许可为准:比如有些软件是源码可见的,但他约定用户只能按他约定的内容来修改:比如vbb论坛程序:所以一个软件是否是开源软件,得具备两个条件:一是源代码可见:二是要有宽松的许可证书,比如GPL证书等: 在GN…

Spark入门实战系列--2.Spark编译与部署（下）--Spark编译安装

[注]该系列文章以及使用到安装包/测试数据可以在<倾情大奉送--Spark入门实战系列>获取 .编译Spark .时间不一样,SBT是白天编译,Maven是深夜进行的,获取依赖包速度不同 2.maven下载大文件是多线程进行,而SBT是单进程),Maven编译成功前后花了3.4个小时. 1.1 编译Spark(SBT) 1.1.1 安装git并编译安装 1. 从如下地址下载git安装包 http://www.onlinedown.net/softdown/169333_2.htm http…

CentOS和Ubuntu下安装配置Greenplum数据库集群（包括安装包和源码编译安装）

首先说一下,无论是CentOS/RedHat还是Ubuntu都可以按源码方式.安装包方式编译安装. 1. 规划 192.168.4.93(h93) 1个主master 2个主segment.2个镜像segment 192.168.4.94(h94) 1个备master 2个主segment.2个镜像segment 都安装在/home/wslu/gp/gpsql目录. 2. 安装依赖在h93和h94安装以下依赖: 2.1. Ubuntu apt-get in…

Ubuntu13.04 Eclipse下编译安装Hadoop插件及使用小例

Ubuntu13.04 Eclipse下编译安装Hadoop插件及使用小例一.在Eclipse下编译安装Hadoop插件 Hadoop的Eclipse插件现在已经没有二进制版直接提供,只能自己编译.不过要注意,一定要下载Hadoop的src包,不然是不带源代码的.环境如下: Linux的发行版是Ubuntu13.04,Hadoop版本是1.1.2.hadoop安装在/opt/hadoop,所以源代码的目录是hadoop根路径下的src/contrib/eclipse-plugin.Eclips…

基于cdh5.10.x hadoop版本的apache源码编译安装spark

参考文档:http://spark.apache.org/docs/1.6.0/building-spark.html spark安装需要选择源码编译方式进行安装部署,cdh5.10.0提供默认的二进制安装包存在未知问题,如果直接下载spark二进制安装文件,配置完成后会发现启动spark及相关使用均会报错. 编译spark需要联网,spark使用scala语言编写,所以运行spark需要scala语言,上一步已经安装了scala,scala使用java编写,所以安装scala需要jdk支持,上…

编译安装spark 1.5.x（Building Spark）

原文连接:http://spark.apache.org/docs/1.5.0/building-spark.html · Building with build/mvn · Building a Runnable Distribution · Setting up Maven’s Memory Usage · Specifying the Hadoop Version · Building With Hive and JDBC Support · Building for Scala 2.11…

Hadoop学习笔记（一）——编译安装和配置

近期工作调动.打算补一下大数据处理的知识.可能会陆续涉及hadoop.mongodb.ddbs等. 首先Apache提供二进制的Hadoop版本号是32位的.在启动时总是有警告,所以想自己编译一遍.部分内容来源于网络. 0.环境说明: 操作系统环境: ububtu 14.04 LTS 64位操作系统 JDK环境: java version "1.7.0_55" Java(TM) SE Runtime Environment (build 1.7.0_55-b13) Java HotSp…

azkaban编译安装配置文档

azkaban编译安装配置文档参考官方文档: http://azkaban.github.io/azkaban/docs/latest/ azkaban的配置文件说明:http://azkaban.github.io/azkaban/docs/latest/#configuration 本文挡主要参考azkaban的官方文档. 在azkaban3.0 以后的版本,提供了3中安装模式.单 solo-server mode, two server mode和multiple-executor mo…

OpenLDAP编译安装及配置

原文发表于cu:2016-06-20 参考文档: 原理:http://seanlook.com/2015/01/15/openldap_introduction/ 官方文档: http://www.openldap.org/doc/admin24/guide.html http://www.openldap.org/doc/admin24/quickstart.html http://seanlook.com/2015/01/21/openldap-install-guide-ssl/ http…

CentOS 7下OpenLDAP编译安装及配置

一．环境 Server:基于CentOS-7-x86_64-1511 Server IP: 172.18.12.203 二．软件获取 OpenLDAP OpenLDAP官网下载地址:http://www.openldap.org/software/download/ OpenLDAP 2.4.44:ftp://ftp.openldap.org/pub/OpenLDAP/openldap-release/openldap-2.4.44.tgz BDB berkeley-db-5.1.29 (Ope…

cloudera impala编译安装配置启动

无论是采用GDB调试impala或者尝试修改impala源码,前提都是需要本地环境编译impala,这篇文章详细的分享一下impala编译方法以及编译过程遇到的棘手的问题: 前言: impala官方的git上其实是有impala编译的步骤的,但是在后来的git版本迭代中,被藏在了一个诡异的地方,https://github.com/cloudera/Impala/tree/v1.2.2,虽i然官方给出了步骤,但该博文并不是官方的一个简单翻译,其中涵盖了很多我加入的细节提醒和遇到的bug以及错误的…

大数据安全利器ranger 编译安装

ranger大数据领域的一个集中式安全管理框架,它可以对诸如hdfs.hive.kafka.storm等组件进行细粒度的权限控制.本文将介绍部署过程 1. 部署准备 ranger: 进入apach官网下载http://ranger.apache.org/download.html, 本次使用的是ranger1.2.0 ,地址为http://mirror.bit.edu.cn/apache/ranger/1.2.0/apache-ranger-1.2.0.tar.gz maven: …

Ubuntu 编译安装 nginx

有关博客: <Windows 编译安装 nginx 服务器 + rtmp 模块>.<Ubuntu 编译安装 nginx>.<Arm-Linux 移植 Nginx> 本文参考:http://www.linuxidc.com/Linux/2017-09/147157.htm 安装nginx 1.安装依赖项 sudo apt-get update sudo apt-get install build-essential zlib1g-dev libpcre3 libpcre3…

ambari 2.5.0源码编译安装

参考:https://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/index.html Ambari 是什么 Ambari 的作用来就是创建.管理.监视 Hadoop 集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop.用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使…

Impala 3.3.0 源码编译安装

最新编译Apache-impala 的心酸历程.大概花了10天才整好,极度的崩溃!!!由于国内的上网环境大家都懂的,访问国外的s3.amazonaws.com一些资源库的速度极其感人,尤其国家处于疫情的特殊时期,各种KXSW被墙,如果你有高速上网通道,你可以忽略本文,安装官方文档直接编译就行,在Google云上编译很快就能完成,但是拿到本地对于10多G几K的速度而言基本无法忍受.尝试了各种其他各种百度的方式编译都不行情况下,还是回归到官方的编译方式,各种尝试后终于完成.如果跟我一样无…

Apache Ranger 编译安装部署

1. 概述 Apache Ranger是大数据领域的一个集中式安全管理框架,目的是通过制定策略(policies)实现对Hadoop组件的集中式安全管理.用户可以通过Ranger实现对集群中数据的安全访问. 2. Ranger内部组件 Ranger由三个模块组成:Ranger内部组件.依赖组件.扩展性组件. 2.1 内部组件包含的内部组件如下: Ranger Admin 用户管理策略,提供WebUI和RestFul接口 Ranger UserSync 用于将Unix系统或LDAP用户/组同步到…

Centos6.5下编译安装mysql 5.6

一:卸载旧版本使用下面的命令检查是否安装有MySQL Server rpm -qa | grep mysql 有的话通过下面的命令来卸载掉 rpm -e mysql //普通删除模式 rpm -e --nodeps mysql // 强力删除模式,如果使用上面命令删除时,提示有依赖的其它文件,则用该命令可以对其进行强力删除二:安装MySQL 查看可安装的包 yum list 安装编译代码需要的包 yum -y install make gcc-c++ cmake bison-devel nc…

CENTOS 6.5 平台离线编译安装 PHP5.6.6

一.下载php源码包 http://cn2.php.net/get/php-5.6.6.tar.gz/from/this/mirror 二.编译编译之前可能会缺少一些必要的依赖包,加载一个本地yum源安装即可,具体缺少什么回执编译过程中提示出来的.编译参数参考: 英文参考:PHP 5.6 编译安装选项说明中文说明:http://blog.csdn.net/godmatrix/article/details/5969558 ./configure --prefix=/usr/local/php…

Linux下编译安装Vim8.0

什么是Vim? Vim 是经典的 UNIX 编辑器 Vi 的深度改良版本.它增加了许多功能,包括:多级撤销.格式高亮.命令行历史.在线帮助.拼写检查.文件名补完.块操作.脚本支持,等等.除了字符界面版本之外,它也有图形界面版本(比如 gVim).虽然 Vi 还在继续维护当中,但是大部分人都只在使用 Vim 了,你所见到和听到的大多是指 Vim--虽然你的命令名可能是 Vi. 这个编辑器常用于程序员.系统管理员.黑客们进行编程和文本编辑.不像某些编辑器,它所有的命令都采用普通的键盘字符,因此在你的…

OpenSUSE下编译安装OpenFoam

在不是Ubuntu系统下安装OpenFoam,需要采用编译安装的方式.以下以OpenSuSE为例进行编译安装. 1 软件包准备需要下载两个程序包: OpenFOAM-4.x-version-4.1.tar.gzThirdParty-4.x-version-4.1.tar.gz 2 安装GCC 启动终端Konsole,在终端中输入命令: sudo zypper install gcc 按提示输入密码并确认安装后,系统自动从网络上下载gcc并进行安装.安装完毕后利用终端命令测试gcc安装版本: g…

不要着急改代码，先想想--centos 6.8下编译安装tmux

诸位读者新年好,2017开年第一篇博客,请允许我先问候一下看到这篇博客的诸位.写博客是我2017年定下的目标之一,希望我会坚持下去. 最近打算尝试一下tmux这个神器,于是有了这一篇关于思维方式的Blog,还是先解决问题. centos 6.8 64-bit + tmux release 2.3 centos软件源中没有tmux,rpm search也没有找到相应的包,只能编译安装. 编译安装过程中缺少libevent等库的问题怎么解决就不讲了,解决完这些常规问题后,编译报错. depbase=…

protobuf的编译安装

github地址:https://github.com/google/protobuf支持多种语言,有多个语言的版本,本文采用的是在centos7下编译源码进行安装. github上有详细的安装说明:https://github.com/google/protobuf/blob/master/src/README.md 1.确定centos7上已经安装了下面的软件,或者直接用yum进行更新 autoconf automake libtool curl (used to download gmoc…