[注意]安装hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可(在所有的namenode上安装),可以不在datanode节点的机器上安装. 一.安装和配置Hive 1. 下载Hive Hive的官方下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.7/apache-hive-2.3.7-bin.tar.gz 2. 安装Hive 将hive的二进制包上传到服务器中

引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用介绍.本文主要讲解如何搭建Hadoop+Hive的环境. 一.环境准备 1,服务器选择 本地虚拟机 操作系统:linux CentOS 7 Cpu:2核 内存:2G 硬盘:40G 说明:因为使用阿里云服务器每次都要重新配置,而且还要考虑网络传输问题,于是自己在本地便搭建了一个虚拟机,方便文件的传输以

sudo apt-get install gnustep sudo apt-get install gnustep-devel sudo apt-get install gobjc . /usr/share/GNUstep/Makefiles/GNUstep.sh #import <Foundation/Foundation.h>   int main (int argc, const char * argv[]) {         NSAutoreleasePool * pool = [[

Linux Centos7部署环境安装-CentOS Centos7部署环境安装及Linux常用命令 centos系统下各文件夹的作用 centos7修改系统默认语言 centos7安装rz/sz命令 centos7安装netstat centos7安装lsof命令 centos7下载并安装jdk并配置环境变量 centos7安装Tomcat centos7安装Nginx centos7安装MySQL Linux常用命令 centos系统下各文件夹的作用 /: 根目录,一般根目录下只存放目录,不

一.服务器环境 本人用的是阿里云的ECS的入门机器,配置1核2G,1M带宽,搭了个Hadoop单机环境,供参考 Linux发行版本:Centos7 JDK:阿里云镜像市场中选择JDK8 二.安装步骤 1.从镜像下载Hadoop安装包 这里选择从国内镜像下载,我这里选择是hadoop-2.7.7版本 镜像地址:http://mirror.bit.edu.cn/apache/hadoop/common/ 2.解压缩hadoop安装包 tar -zxvf /opt/hadoop-2.7.7.tar.g

下载 https://www.elastic.co/downloads/elasticsearch 安装 rpm -ivh 也可以双击rpm包安装 修改elastaticsearch host配置 修改网络防火墙配置 添加9200和9300端口 保存退出 重启防火墙,启动elasticsearch服务,查看es状态 安装ES插件head 以上完成Elasticsearch环境安装 添加服务至自开机启动

CDH 5.x搭建请参考CentOS 7离线安装CDH 5.16.1完全指南(含各种错误处理). 如果使用的是cloudera quickstart vm,则只能在linux服务器中使用eclipse提交,无法远程访问(主要是quickstart绑定的所有ip都是localhost所致,所以最好还是自己搭建一个单机的hadoop环境). 安装包下载 hadoop-2.6.5.tar.gz(最好是和服务器版本保持一致,避免出现各种版本不匹配导致的接口不匹配问题) 解压 hadoop.dll-and

说明: (Hbase依赖于Hadoop,同时需要把元数据存放在mysql中),mysql自行安装 Hadoop2.0安装参考我的博客: https://www.cnblogs.com/654wangzai321/p/8603498.html 源码包下载: http://archive.apache.org/dist/hive/hive-2.3.2/ 集群环境: master 192.168.1.99 slave1 192.168.1.100 slave2 192.168.1.101 下载安装包:

1.下载并安装Cygwin,记得cygwin安装中要把SSH选择上,因为后面Hadoop会用到,不详述cygwin的安装过程.我是安装在D:\cygwin下 2.配置系统环境变量 在windows命令行中输入unix命令,可以执行则说明cygwin和环境变量配置成功. 3.打开D:\cygwin\Cygwin.bat,配置ssh,执行命令ssh-host-config 因为我已经配置过,并用ssh服务已经启动,所以报错了,你们在配置的时候一路YES即可,有兴趣的也可以看一下英文说明,都配置了哪些

jdk安装配置 首先下载JDK和JRE,这里你的需要看看你的Linux系统是多少位的,比如我的是64位的: 下载JDK并指定到Download目录,JRE同样操作: 解压并且配置环境: tar -zxvf jdk9.0 //解压命令 配置环境: vi /etc/profile JAVA_HOME=/usr/local/java/jdk9.0 #jdk存放位置 JRE_HOME=/usr/local/java/jre9.0 #jre存放位置 PATH=$PATH:$JRE_HOME/bin:$JA

本节主要讲解Linux(Centos 6.5)下Java环境的安装 1. 卸载机器上默认安装的JDK 在Linux环境下一般会默认安装jdk,为了自己项目的开发部署,一般情况要重新装jdk,而且自己装的Jdk相对来说易控制版本,稳定性更高.所以以下是我卸载预装JDK并选定自己的版本来进行重新安装. 检查系统中的jdk版本 在Linux环境下输入:java -version,结果如下,我自己环境默认安装的是JDK 1.7版本,我们现在安装1.8版本的JDK. [root@centos ~]# ja

1. 下载hadoop和jdk安装包到指定目录,并安装java环境. 2.解压hadoop到指定目录,配置环境变量.vim /etc/profile export JAVA_HOME=/home/xiaozw/soft/java/jdk1.8.0_201export HADOOP_HOME=/home/xiaozw/soft/java/hadoop-3.1.2export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:$

http://www.oracle.com/technetwork/java/javase/downloads/index.html 找到对应版本的jak的安装包 我这边下载的是64_rpm 下载完成后如下 打开命令进行安装 进入 /etc/profile 目录 配置java环境变量 rpm免配置 tar 需要配置 JAVA_HOME=/usr/java/jdk1.6.0_32 CLASSPATH=.:＄JAVA_HOME/lib.tools.jar PATH=＄JAVA_HOME/bin:＄P

http://blog.csdn.net/xjavasunjava/article/details/12013677 1,时间同步hadoop集群的每台机器的时间不能相差太大. 安装集群前最好进行一下时间同步: ntpdate stdtime.gov.hk 跟标准时间同步date 查看本机时间 2,无密码登陆 查询某个进程的id ps axu|grep hmaster 3, 安装心得: 各个机器的 service iptables off 关掉关掉 端口的问题 netstat -tunlp   

1.安装64位redhat6.4操作系统(客户机为64位)为软件开发工作站模式. 2.卸载yum源,重新安装为免费的CentOS6.4 yum源(yum能解决软件安装中的包依赖问题,redhat 未注册用户不能使用yum安装软件): # mv /etc/yum.repos.d/*.repo  /etc/yum.repos.d/*.repo.bak # 删除原有的yum包 # rpm -qa | grep yum|xargs rpm -e --nodeps # 下载CentOS的yum安装包 #

如今我们越来越多的网站需要使用SSL证书,尤其是一些购物类网站,用户交互类网站使用居多.安装方法也很简单,我们可以根据自己的服务器是NGINX还是APACHE进行安装,但是在安装之后,默认的HTTP和HTTPS都会指向的网站.这里需要考虑到唯一性和权重的转移,我们需要将HTTP强制转向HTTPS,这里示范下看看NGINX WEB环境是如何设置的. server { listen 80; server_name cnbanwagong.com www.cnbanwagong.com; rewrit

expect是交互性很强的脚本语言,可以帮助运维人员实现批量管理成千上百台服务器操作,是一款很实用的批量部署工具!expect依赖于tcl,而linux系统里一般不自带安装tcl,所以需要手动安装 下载:expect-5.43.0.tar和tcl8.4.11-src.tar下载地址:https://pan.baidu.com/s/1kVyeLt9 提取密码:af9p 将expect和tcl的软件包下载放到/usr/local/src目录下 (1)解压tcl,进入tcl解压目录,然后进入unix目

apache 安装:http://blog.csdn.net/wplblog/article/details/52172128 编译安装 mysql安装:http://www.centoscn.com/CentosServer/www/2014/1023/3990.html   yum安装 php安装:http://www.centoscn.com/CentosServer/www/2014/1023/3990.html  编译安装 /softwire/php-5.6.30/configure

centos 多台机器免密登录 hadoop学习笔记(五)--全分布模式下SSH免密码登陆的实现 参考安装教程 Hadoop-2.7.4 集群快速搭建 启动hadoop cd /opt/soft/hadoop-2.7.4/sbin ./start-dfs.sh ./start-yarn.sh ./mr-jobhistory-daemon.sh start historyserver 关闭 hadoop cd /opt/soft/hadoop-2.7.4/sbin ./stop-all.sh 无法

安装gcc编译器: yum -y install gcc 安装wget: yum -y install wget 安装python-setuptools: wget http://peak.telecommunity.com/dist/ez_setup.pypython ez_setup.py 安装https: yum install mysql-devel 安装下载python: wget http://python.org/ftp/python/2.7.9/Python-2.7.9.tgzt

下载jdk http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 两种安装方式: 第一种:*tar.gz编译安装 1.创建java文件 [root@H0f ~]# cd /usr #进入usr目录 [root@H0f usr]# mkdir java #创建java文件 2.把下载的文件拷贝到/usr/java 目录下: [root@H0f java]# cp /root/Deskt