在Centos7下搭建大数据环境,即Zookeeper+Hadoop+HBase
1. 所需软件下载链接(建议直接复制链接到迅雷下载更快):
①hadoop-2.7.6.tar.gz:
wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz
②zookeeper-3.4.12.tar.gz:
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz
③hbase-1.2.6-bin.tar.gz:
wget http://mirror.bit.edu.cn/apache/hbase/1.2.6/hbase-1.2.6-bin.tar.gz
注:hadoop与hbase版本有对应性,具体可参考apache官网:http://hbase.apache.org/book.html#quickstart,在页面上搜索:Hadoop version support matrix
④jdk-8u171-linux-x64.tar.gz:
链接:https://pan.baidu.com/s/1fEK_ArfqfpVa5lNj8cGGKg
提取码:ky0x
2. 安装教程
①安装hadoop参考教程:https://www.cnblogs.com/frankdeng/p/9047698.html
②安装zookeeper参考教程:https://www.cnblogs.com/frankdeng/p/9018177.html
③安装hbase参考教程:https://www.cnblogs.com/frankdeng/p/9047698.html
3. 注意事项
3.1 在参考hadoop安装教程时:
①首先要先卸载Centos本身自带的openjdk,参考这位博主的卸载教程:
https://www.cnblogs.com/happyflyingpig/p/8068020.html
注:不卸载应该也可以吧,您可以试一下先不卸载,装好jdk,再改好/etc/profile中的JAVA_HOME重新编译生效后,最后输入:
java -version
看看版本更改过来没。
②步骤1.4:如果是以root用户安装环境时,即当前目录为~时:应当直接
cd /opt
因为/opt是根目录下的opt,在该目录下创建相应module、software文件夹,而不是先mkdir opt,再cd opt(这是root用户下的opt);但如果您已经先mkdir opt了的话,JAVA_HOME应该为:/root/opt/module/jdk1.8,而不是/opt/module/jdk1.8
总结:
cd /opt:根目录下的opt cd opt:当前登录用户下的opt
③步骤2:向其他节点复制jdk时,改用该命令更好:
scp -r /opt/module/jdk1.8 root@node22:/opt/module
3.2 在参考教程时:
一定要尽量都下载我上面提供的版本,因为我试过好几个hadoop、hbase、jdk的版本,存在好多不兼容情况,比如:我之前使用的jdk1.8_202版本,在我搭建完这些环境后,总有一些问题如java.net.connect ion拒绝连接什么的,后面我换成了jdk1.8_171就好了。
4. 最后
上述搭建大数据环境的三个教程为同一个博主@Frankdeng编写,更具统一性,安装起来命令 复制粘贴起来更方便hhh 更有参考性,非常感谢参考教程的博主!
上述主要参考教程的博主的博客地址:https://www.cnblogs.com/frankdeng/
在Centos7下搭建大数据环境,即Zookeeper+Hadoop+HBase的更多相关文章
- Hyperledger超级账本在Centos7下搭建运行环境
超级账本(hyperledger)是Linux基金会于2015年发起的推进区块链数字技术和交易验证的开源项目,加入成员包括:荷兰银行(ABN AMRO).埃森哲(Accenture)等十几个不同利益体 ...
- centos7下搭建ceph luminous(12.2.1)--无网或网络较差
本博客的主要内容是在centos7下搭建luminous,配置dashboard,搭建客户端使用rbd,源码安装ceph,最后给出一些较为常用的命令.本博客针对初次接触ceph的人群. 搭建环境: 主 ...
- Linux系统:Centos7下搭建PostgreSQL关系型数据库
本文源码:GitHub·点这里 || GitEE·点这里 一.PostgreSQL简介 1.数据库简介 PostgreSQL是一个功能强大的开源数据库系统,具有可靠性.稳定性.数据一致性等特点,且可以 ...
- 在Centos7下搭建Socks5代理服务器
在Centos7下搭建Socks5代理服务器 http://blog.51cto.com/quliren/2052776 采用socks协议的代理服务器就是SOCKS服务器,是一种通用的代理服务器 ...
- 第四百零五节,centos7下搭建sentry错误日志服务器,接收python以及Django错误,
第四百零五节,centos7下搭建sentry错误日志服务器,接收python以及Django错误, 注意:版本,不然会报错 Docker >=1.11Compose >1.6.0 通过d ...
- CentOS7下搭建zabbix监控(四)——Zabbix报警设置
CentOS7下搭建zabbix监控(一)——Zabbix监控端配置 CentOS7下搭建zabbix监控(二)——Zabbix被监控端配置 CentOS7下搭建zabbix监控(三)——Zabbix ...
- CentOS7下搭建zabbix监控(三)——Zabbix监控服务配置
CentOS7下搭建zabbix监控(一)——Zabbix监控端配置 CentOS7下搭建zabbix监控(二)——Zabbix被监控端配置 (1).配置Zabbix监控Apache服务 主机名:yo ...
- CentOS7下搭建zabbix监控(二)——Zabbix被监控端配置
Zabbix监控端配置请查看:CentOS7下搭建zabbix监控(一)——Zabbix监控端配置 (1).在CentOS7(被监控端)上部署Zabbix Agent 主机名:youxi2 IP地址: ...
- CentOS7下搭建邮件服务器(dovecot + postfix + SSL)
CentOS 花了基本上两天的时间去配置CentOS7下的邮件服务器.其中艰辛太多了,一定得总结下. 本文的目的在于通过一系列配置,在CentOS 7下搭建dovecot + postfix + ...
随机推荐
- python大佬养成计划----HTML网页设计(序列)
序列化标签 1.有序标签--ol和li 有序列表标签是<ol>,是一个双标签.在每一个列表项目前要使用<li>标签.<ol>标签的形式是带有前后顺序之分的编号.如果 ...
- python社区要放弃了pip?版本信息里带警告很不寻常哦
pip是python的一个包管理器. 今天再查询Pip3 -V 时,除了正常的版本信息外,多了几行信息 WARNING: pip is being invoked by an old script w ...
- mybatis深入之动态查询和连接池介绍
mybatis深入之动态查询和连接池介绍 一.mybatis条件查询 在mybatis前述案例中,我们的查询条件都是确定的.但在实际使用的时候,我们的查询条件有可能是动态变化的.例如,查询参数为一个u ...
- 测试必知必会系列- Linux常用命令 - ls
21篇测试必备的Linux常用命令,每天敲一篇,每次敲三遍,每月一循环,全都可记住!! https://www.cnblogs.com/poloyy/category/1672457.html 列出当 ...
- 如何在vue中修改动态标签中的样式和修改组件库样式
vue中修改动态标签中的样式和修改组件库样式 因为vue中的标签在渲染的时候,都会给标签加上id 所以你想在<style lang="scss" scoped>直接修改 ...
- 3D游戏中各种空间变换到底是怎么回事
每一个游戏可以呈现炫丽效果的背后,需要进行一系列的复杂计算,同时也伴随着各种各样的顶点空间变换.渲染游戏的过程可以理解成是把一个个顶点经过层层处理最终转化到屏幕上的过程,本文就旨在说明,顶点是经过了哪 ...
- 编译Zookeeper3.4.6源代码并通过Intellij IDEA运行(2020年)
一.问题背景 生产环境Windows机器上用的Zookeeper 3.4.6,最近经常报如下异常: 经过搜索,看到一篇帖子可以解决:https://www.jianshu.com/p/73eec030 ...
- Natas11 Writeup(常见编码、异或逆推、修改cookie)
Natas11: 页面提示cookie被异或加密保护,查看源码,发现了一个预定义参数和三个函数. //预定义参数,猜测将showpassword设置为yes即可得到密码. $defaultdata = ...
- 初步了解HTTP协议
1.HTTP简介 全称:Hyper Text Transfer Protocol,中文名:超文本传输协议. 功能:HTTP是客户端浏览器或其他程序与web服务器之间的应用层通信协议. 特点:a.支持 ...
- Chromium EC框架探索 1.1 开发环境搭建
1.1 开发环境搭建 本节参考官方文档getting started building ec images quickly编写本节介绍搭建ec开发环境的两种方式,后一种对于绝大多数人而言是不必要的. ...