hadoop，hbase，hive安装全记录(转)

http://wenku.baidu.com/view/5eb3b4a6f90f76c661371abe.html 或http://blog.csdn.net/chengweipeng123/article/details/7174717…

原来只有一台机器,hadoop,hbase,hive都安装在一台机器上,现在又申请到一台机器,领导说做成主备, 要重新配置吗?还是原来的不动,把新增的机器做成slave,原来的当作master?网上找找应该有这种配置操作,先试试看原来搭单机hadoop,单机hadoop搭建原来搭建单机hbase,单机hbase搭建原来搭建单机zookeeper三个节点,单机伪zookeeper集群 1.申请到机器了,先把主机名改成slave vim /etc/sysconfig/network HOSTN…

【转载】全栈工程师-Hadoop, HBase, Hive, Spark

学习参考这篇文章: http://www.shareditor.com/blogshow/?blogId=96 机器学习.数据挖掘等各种大数据处理都离不开各种开源分布式系统, hadoop用于分布式存储和map-reduce计算, spark用于分布式机器学习, hive是分布式数据库, hbase是分布式kv系统, 看似互不相关的他们却都是基于相同的hdfs存储和yarn资源管理, 本文通过全套部署方法来让大家深入系统内部以充分理解分布式系统架构和他们之间的关系. 下载了 Hadoop had…

hadoop,hbase,hive

linux上安装hadoop,然后安装hbase,然后安装zookeeper,最后安装hive.hbase安装在hdfs下.hive是纯逻辑表,hbase是物理表.hdfs是hadoop上的一个组件.…

Hive 安装配置记录

http://yymmiinngg.iteye.com/blog/708230 export HADOOP_HOME_WARN_SUPPRESS=1 export JAVA_HOME=/home/hadoop/installer/jdk7u65 export HADOOP_HOME=/home/hadoop/installer/hadoop-1.1.2 export ZOOKEEPER_HOME=/home/hadoop/installer/zookeeper-3.4.5 export HBAS…

Hadoop之hive安装过程以及运行常见问题

Hive简介 1.数据仓库工具 2.支持一种与Sql类似的语言HiveQL 3.可以看成是从Sql到MapReduce的映射器 4.提供shall.Jdbc/odbc.Thrift.Web等接口 Hive嵌入式安装 1.下载. 下载地址:http://mirror.bit.edu.cn/apache/hive/hive-0.13.0/ 我下载的是最新的版本,0.13.0版本 2.上传并解压上传到Linux中,这里我放在了/usr/local目录下解压hive,命令:tar -zxvf hiv…

cdh版本的hue安装配置部署以及集成hadoop hbase hive mysql等权威指南

hue下载地址:https://github.com/cloudera/hue hue学习文档地址:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html 我目前使用的是hue-3.7.0-cdh5.3.6 hue(HUE=Hadoop User Experience) Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apach…

Hadoop之Hive 安装_（hadoop 集群）

Hive mysql的metastore安装准备(***掌握***) 在nameNode1机子上实践: 把hive-0.12.0.tar.gz解压到/itcast/ # tar -zxvf hive-0.12.0.tar.gz -C /itcast 修改/etc/profile文件,将hive加入环境变量 # vim /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_79 export HADOOP_HOME=/itcast/hadoop-2.4.…

hadoop,hbase,pig安装

注意端口,办公网只能访问8000-9000的端口 pig的一些lib文件版本 /home/map/hadoop/lib下一些98.5的lib没删除…

干货CentOS6.5_Nginx1.40_Php5.57_MySQL5.5.35编译安装全记录

http://www.unixdo.com/Unix_Linux/CentOS65_Nginx140_Php557_MySQL5535.html 如果是编译升级php,之前做过nginx的虚拟主机配置的话,记得将php-fpm.conf里的listen修改一下 vi /usr/local/php5/etc/php-fpm.conf #编辑php-fpm配置文件 listen = 修改为 listen =/tmp/php-cgi.sock; 环境说明:CentOS 6.5 32位 Nginx1…

CentOS6.5_Nginx1.40_Php5.57_MySQL5.5.35编译安装全记录

环境说明:CentOS 6.5 32位 PHP Version 5.5.7 mysql version _5.6.16 一.准备工作配置防火墙,允许防火墙通过22(sshd).80(WEB).3306(MYSQL)端口iptables -A INPUT -p tcp --dport 80 -j ACCEPTiptables -A INPUT -p tcp --dport 3306 -j ACCEPTiptables -A INPUT -p tcp --dport 22 -j ACCEPTi…

Centos7下ZABBIX安装全记录

安装之前务必关闭SELINUX Install Repository with MySQL database : rpm -i https://repo.zabbix.com/zabbix/3.4/rhel/7/x86_64/zabbix-release-3.4-2.el7.noarch.rpm rpm --import /etc/pki/rpm-gpg/RPM* rpm -i https://repo.zabbix.com/zabbix/3.4/rhel/7/x86_64/zabbix-rel…

linux mysql-5.7.26 安装全记录

买了个阿里云,自己折腾一下. 时间:2019年7月17日13:40:18 1.下载 wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.26-linux-glibc2.12-x86_64.tar.gz 2.解压 tar -zxvf mysql--linux-glibc2.-x86_64.tar.gz 3.移动文件到 usr/local/mysql目录下 mv mysql--linux-glibc2.-x86_64 /usr/loca…

带EFI支持的GRUB2安装全记录

版权归作者所有,任何形式转载请联系作者. 作者:keenshoes(来自豆瓣) 来源:https://www.douban.com/note/210077866/ 关键词:EFIGRUB2efibootmgrGentoo LINUXWindows 7Mac OS Xmultiboot 做为对传统引导程序grub的升级版本, Grub2的功能非凡, 他的不俗表现, 至少有两方面, 1, Grub2可以识别当前使用的大多数文件系统, 无论在GPT还是MBR格式的.2, Grub2可以采用更灵活的模…

HBase 的安装与配置

实验简介本次实验学习和了解 HBase 在不同模式下的配置和安装,以及 HBase 后续的启动和停止等. 一.实验环境说明 1. 环境登录无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面上的程序: XfceTerminal: Linux命令行终端,打开后会进入Bash环境,可以使用Linux命令: Firefox:浏览器,可以用在需要前端界面的课程里,只需要打开环境里写的HTML/JS…

hadoop安装问题记录

start-yarn.sh 启动正常,但是无法访问网页http://localhost:8088/cluster 原因: 可能是ipv6 的问题解决方法: http://stackoverflow.com/questions/23128593/hadoop2-2-0-cant-visit-the-web-http-ip8088 安装集群版本好的博客http://blog.csdn.net/wzy0623/article/details/50681554 jobhistory 无法访问,因为jo…

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建图文详解

引言在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单机的搭建,是因为作为个人学习的话,单机已足以,好吧,说实话是自己的电脑不行,使用虚拟机实在太卡了... 整个的集群搭建是在公司的测试服务搭建的,在搭建的时候遇到各种各样的坑,当然也收获颇多.在成功搭建大数据集群之后,零零散散的做了写笔记,然后重新将这些笔记整理了下来.于是就有了本篇博文. 其实我在搭…

大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解

微信公众号[程序员江湖] 作者黄小斜,斜杠青年,某985硕士,阿里 Java 研发工程师,于 2018 年秋招拿到 BAT 头条.网易.滴滴等 8 个大厂 offer,目前致力于分享这几年的学习经验.求职心得和成长感悟,以及作为程序员的思考和见解.(关注公众号后回复”资料“即可领取 3T 免费技术学习资源) 纯干货:Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解. 通过这一阶段的调研总结,从内部机理的角度详细分析,HDFS.MapReduce.…

hadoop 安装过程记录

1)首先配置好了四个linux虚拟机 root pwd:z****l*3 关闭了防火墙开通了 sshd服务开通了 ftp服务配置了 jdk 1.8 配置好了互信 (之前配置的过程忘了!--检查了一下可以) 注意 /etc/hosts 中需配置主机名(每台都要设置) 注意互信建立时第一次连接会提示要输入yes才行,即使用ip试过换了主机名同样会在换过主机名后的第一次提示输入yes 所以最后用主机名试一下 scp linux版本是 Fedora release 22 (Twenty…

Hadoop+HBase+Spark+Hive环境搭建

杨赟快跑简书作者 2018-09-24 10:24 打开App 摘要:大数据门槛较高,仅仅环境的搭建可能就要耗费我们大量的精力,本文总结了作者是如何搭建大数据环境的(单机版和集群版),希望能帮助学弟学妹们更快地走上大数据学习之路. 0. 准备安装包本文所需的系统镜像.大数据软件安装包.开发环境软件安装包等都可以在我的百度云盘中下载.链接:系统镜像和各种大数据软件密码:n2cn 1. Windows下安装Ubuntu双系统 Hadoop等大数据开源框架是不支持Windows系统的,所以需要先安…

HADOOP+SPARK+ZOOKEEPER+HBASE+HIVE集群搭建(转)

原文地址:https://www.cnblogs.com/hanzhi/articles/8794984.html 目录引言目录一环境选择 1集群机器安装图 2配置说明 3下载地址二集群的相关配置 1主机名更改以及主机和IP做相关映射更改主机名做主机和IP的关系映射 2ssh免登录 3防火墙关闭 4时间配置 5快捷键设置可选 6整体环境变量设置二Hadoop的环境搭建 1JDK配置 2hadoop配置 21 文件准备 22 环境配置 23 修改配置文件 231 修改 core-si…

Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解

转自:http://blog.csdn.net/iamdll/article/details/20998035 分类: 分布式 2014-03-11 10:31 156人阅读评论(0) 收藏举报目录(?)[+] Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS.MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase的介绍,基本涵盖了Hadoop分布式平台的所有技术核心.…

HADOOP docker(四):安装hive

1.hive简介2.安装hive2.1 环境准备2.1.1 下载安装包2.1.2 设置hive用户的环境变量2.1.3 hive服务端配置文件2.1.4 hive客户端配置文件2.1.4 分发hive配置文件2.2 启动hive2.2.1 初始化数据库2.2.2 创建HDFS目录2.2.3 启动hive3.总结 getting start: https://cwiki.apache.org/confluence/display/Hive/GettingStarted hive wiki: htt…

【hadoop，hbase，hive安装全记录(转)】的更多相关文章