第一步:Hbase安装 hadoop,zookeeper前面都安装好了 将hbase-1.1.3-bin.tar.gz上传到/usr/HBase目录下 [root@spark1 HBase]# chmod u+x hbase-1.1.3-bin.tar.gz [root@spark1 HBase]# tar -zxvf hbase-1.1.3-bin.tar.gz [root@spark1 HBase]# mv hbase-1.1.3 hbase-1.1 [root@spark1 ~]# vi/…

把原先搭建的集群环境给删除了,自己重新搭建了一次,将笔记整理在这里,方便自己以后查看 第一步:安装主节点spark1 第一个节点:centos虚拟机安装,全名spark1,用户名hadoop,密码123456 ,虚拟机名称spark1 第二步:配置yum源 需经常使用yum安装软件,使用国内网易源速度更快 [root@localhost ~]# mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backu…

作者:Grey 原文地址:ZooKeeper学习笔记一:集群搭建 说明 单机版的zk安装和运行参考:https://zookeeper.apache.org/doc/r3.6.3/zookeeperStarted.html 单机版的zk只适合用于测试或者开发环境,不适合用于生产环境. 本文主要介绍zk的集群搭建. 环境 CentOS 7 ZooKeeper 3.6.3 准备工作 第一步,准备四个Linux实例,zk01~zk04,我的四个实例的ip分别是: zk01:192.168.205.14…

第一步:zookeeper安装 通过WinSCP软件将zookeeper-3.4.8.tar.gz软件传送到/usr/zookeeper/目录下 [root@spark1 zookeeper]# chmod u+x zookeeper-3.4.8.tar.gz #增加执行权限 [root@spark1 zookeeper]# tar -zxvf zookeeper-3.4.8.tar.gz # [root@spark1 zookeeper]# mv zookeeper-3.4.8 zk [roo…

上次写redis的学习笔记还是2014年,一转眼已经快2年过去了,在段时间里,redis最大的变化之一就是cluster功能的正式发布,以前要搞redis集群,得借助一致性hash来自己搞sharding,现在方便多了,直接上cluster功能就行了,而且还支持节点动态添加.HA.节点增减后缓存重新分布(resharding). 下面是参考官方教程cluster-tutorial 在mac机上搭建cluster的过程: 一.下载最新版redis 编译 目前最新版是3.0.7,下载地址:http:…

一.spark简介 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎,Spark 是一种与 hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载. 二.spark编译 为什么cdh提供了spark已经编译好的包,还要自己手工编译?因为从spark某个版本之后,就不再集成hadoop相关的jar包…

redis集群 java架构师项目实战,高并发集群分布式,大数据高可用,视频教程 在redis3.0之前,出现了sentinel工具来监控各个Master的状态(可以看上一篇博客).如果Master异常则会做主从切换.选举一个slave作为新的Master,3.0之后出现了集群.集群的搭建至少需要3个Master 在这里我只在一台装有linux系统装3个Master和3个slave作为测试. linux主机的ip为192.168.1.229 第一步 1.下载redis安装包解压并安装到linux…

1.单个etcd节点(测试开发用) 之前我一直开发测试一直是用的一个Etcd节点,然后启动命令一直都是直接打一个etcd(我已经将etcd安装目录的bin目录加入到PATH环 境变量中),然后启动信息显示etcd server监听在默认的4001端口,peer server监听在默认的7001端口. 或者指定路径和名称:etcd -data-dir /usr/local/etcdData/machine0 -name machine0 2.三个Etcd节点组成Clustering 然后今天想测试…

1.redis-cluster设计 Redis集群搭建的方式有多种,例如使用zookeeper,但从redis 3.0之后版本支持redis-cluster集群,redis-cluster采用无中心结构,每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接.其redis-cluster架构图如下: 其结构特点 所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽. 节点的fail是通过集群中超过半数的节点检测失效时才生效. 客户端与redis节点直…

引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单机的搭建,是因为作为个人学习的话,单机已足以,好吧,说实话是自己的电脑不行,使用虚拟机实在太卡了... 整个的集群搭建是在公司的测试服务搭建的,在搭建的时候遇到各种各样的坑,当然也收获颇多.在成功搭建大数据集群之后,零零散散的做了写笔记,然后重新将这些笔记整理了下来.于是就有了本篇博文. 其实我在搭…

目录 目录 1.前言 1.1.什么是 Hadoop? 1.1.1.什么是 YARN? 1.2.什么是 Zookeeper? 1.3.什么是 Hbase? 1.4.什么是 Hive 1.5.什么是 Spark? 2.环境准备 2.1.网络配置 2.2.更改 HOSTNAME 2.3.配置 SSH 免密码登录登录 2.4.关闭防火墙 2.7.安装 NTP 3. 下载应用程序及配置环境变量 3.1.创建安装目录 3.2.下载本文中用到的程序 3.3.设置环境变量 4. 安装 Oracle JDK 1.…

文中的所有操作都是在之前的文章scala的安装及使用文章基础上建立的,重复操作已经简写: 配置中使用了master01.slave01.slave02.slave03: 一.虚拟机中操作(启动网卡)sh /install/initNetwork.shifup eth0 二.基础配置(主机名.IP配置.防火墙及selinux强制访问控制安全系统)vi /etc/sysconfig/network (配置磁盘中主机名字)vi /etc/hosts (配置映射,)hostname 主机名 (修改内存中…

原文地址:https://www.cnblogs.com/hanzhi/articles/8794984.html 目录 引言 目录 一环境选择 1集群机器安装图 2配置说明 3下载地址 二集群的相关配置 1主机名更改以及主机和IP做相关映射 更改主机名 做主机和IP的关系映射 2ssh免登录 3防火墙关闭 4时间配置 5快捷键设置可选 6整体环境变量设置 二Hadoop的环境搭建 1JDK配置 2hadoop配置 21 文件准备 22 环境配置 23 修改配置文件 231 修改 core-si…

Spark-Hadoop集群搭建 视频教程: 1.优酷 2.YouTube 配置java 启动ftp [root@master ~]# /etc/init.d/vsftpd restart 关闭 vsftpd:                                                     [失败] 为 vsftpd 启动 vsftpd:                                               [确定] 默认情况下 root不允许使用f…

参照<Spark实战高手之路>学习的,书籍电子版在51CTO网站 资料链接 Hadoop下载[链接](http://archive.apache.org/dist/hadoop/core/hadoop-1.2.1/) JDK下载[链接](http://www.oracle.com/technetwork/java/javase/downloads/index.html) 1.安装好vmvare和Ubuntu虚拟机后,不能使用vim,出现Package has no installation c…

1.安装Linux 需要:3台CentOS7虚拟机 IP:192.168.245.130,192.168.245.131,192.168.245.132(类似,尽量保持连续,方便记忆) 注意: 3台虚拟机的网络设置为NAT模式,这样安装好后的3台虚拟机的IP是挨着的,不然还要修改IP,以达到便于配置集群的目的! NAT模式可以在断网的情况下连接上虚拟机而桥架模式不行! 2.安装JDK 参考我的博客:https://www.cnblogs.com/yszd/p/10140327.html 3.运行…

留给我学习hadoop的时间不多了,要提高效率,用上以前学的东西.hadoop要注重实战,把概念和原理弄清楚,之前看过一些spark,感觉都是一些小细节,对于理解hadoop没什么帮助.多看看资料,把基础打扎实吧. 1.首先就是hadoop的按装,分为a单机版b伪分布式c分布式,生产环境下都是用的分布式,但是既然要学习,又没有硬件资源,那就从最简单的单机版学起(这有没有类似于游戏啊).我从最开始不知道虚拟机及其用途,后来安装了它,费了一番周折,再到最后开始用它做开发了,说明我知道的东西太少了,要…

最近学习Spark,因此想把相关内容记录下来,方便他人参考,也方便自己回忆吧 spark开发环境的介绍资料很多,大同小异,很多不能一次配置成功,我以自己的实际操作过程为准,详细记录下来. 1.基本运行环境 spark的运行需要java和scala的支持,因此首先需要配置java.scala运行环境,网上资料很多,也很简单 详细内容参见上一篇博客(http://blog.csdn.net/hit0803107/article/details/52794875) 我使用的是jdk1.8.0_91,s…

Spark集群搭建 视频教程 1.优酷 2.YouTube 安装scala环境 下载地址http://www.scala-lang.org/download/ 上传scala-2.10.5.tgz到master和slave机器的hadoop用户installer目录下 两台机器都要做 [hadoop@master installer]$ ls hadoop2  hadoop-2.6.0.tar.gz  scala-2.10.5.tgz 解压 [hadoop@master installer]$…

本文是redis学习系列的第四篇,前面我们学习了redis的数据结构和一些高级特性,点击下面链接可回看 <详细讲解redis数据结构(内存模型)以及常用命令> <redis高级应用(主从.事务与锁.持久化)> 本文我们继续学习redis的高级特性——集群.本文主要内容包括集群搭建.集群分区原理和集群操作的学习. Redis集群简介 Redis 集群是3.0之后才引入的,在3.0之前,使用哨兵(sentinel)机制(本文将不做介绍,大家可另行查阅)来监控各个节点之间的状态.Redi…

Kafka 0.9版本对java client的api做出了较大调整,本文主要总结了Kafka 0.9在集群搭建.高可用性.新API方面的相关过程和细节,以及本人在安装调试过程中踩出的各种坑. 关于Kafka的结构.功能.特点.适用场景等,网上到处都是,我就不再赘述了,直接进入正文 Kafka 0.9集群安装配置 操作系统:CentOS 6.5 1. 安装Java环境 Zookeeper和Kafka的运行都需要Java环境,所以先安装JRE,Kafka默认使用G1垃圾回收器,如果不更改垃圾回收器…

注意,这种安装方式是集群方式:然后有常用两种运行模式: standalone , on yarn 区别就是在编写 standalone 与 onyarn 的程序时的配置不一样,具体请参照spar2中的例子. 提交方式: standalone spark-submit --class testkmeans.KMeans_jie spark2-1.0-SNAPSHOT.jar onyarn : spark-submit --class SaprkOnYarn spark2-1.0-SNAPSHOT.…

本文是redis学习系列的第四篇,前面我们学习了redis的数据结构和一些高级特性,点击下面链接可回看 <详细讲解redis数据结构(内存模型)以及常用命令> <redis高级应用(主从.事务与锁.持久化)> 本文我们继续学习redis的高级特性——集群.本文主要内容包括集群搭建.集群分区原理和集群操作的学习. Redis集群简介 Redis 集群是3.0之后才引入的,在3.0之前,使用哨兵(sentinel)机制(本文将不做介绍,大家可另行查阅)来监控各个节点之间的状态.Redi…

Spark集群搭建 1 Spark编译 1.1 下载源代码 git clone git://github.com/apache/spark.git -b branch-1.6 1.2 修改pom文件 增加cdh5.0.2相关profile,如下: <profile> <id>cdh5.0.2</id> <properties> <hadoop.version>2.3.0-cdh5.0.2</hadoop.version> <hb…

zookeeper概念 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名 服务等.Zookeeper是hadoop的一个子项目,其发展历程无需赘述.在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制 不适合在某些应用中使用,因此需要有一种可靠的.可扩展的.分布式的.可配置的协调机制来统一系统的状态.Zookeeper的目的就在于此. 1.角色 Zookeeper中的角色主要有以下三…

最近耳闻Spark风生水起,这两天利用休息时间研究了一下,果然还是给人不少惊喜.可惜,笔者不善JAVA,只有PYTHON和SCALA接口.花了不少时间从零开始认识PYTHON和SCALA,不少时间答了VIM的IDE,总算走入正途.下面将一些SPARK集群搭建心得简单写一下.期间也零星碰到不少问题. //spark 1,去mirror站点下138M大小的编译好的包,去下SCALA 2.9.X,HADOOP该启动的启动 2,配置各种$HOME和$PATH配置$SPARK_HOME/conf/spar…

2017年3月1日, 星期三 Spark集群搭建_Standalone Driver:    node1    Worker:  node2    Worker:  node3 1.下载安装 下载地址:http://spark.apache.org/downloads.html Standalone模式的spark集群虽然不依赖于yarn,但是数据文件存在hdfs,所以需要hdfs集群启动成功 这里下载包也要根据hadoop集群版本启动 比如hadoop2.5.2需要下载spark-1.4.0-…

2017年3月1日, 星期三 Spark集群搭建_YARN 前提:参考Spark集群搭建_Standalone   1.修改spark中conf中的spark-env.sh   2.Spark on YARN--不需要启动Spark集群,因为已经在spark的配置文件中配置了hadoop的目录 附录: 不同运行模式的命令不同 1.standalone client模式 ./bin/spark-submit --class org.apache.spark.examples.SparkPi--ma…

1.选取三台服务器 由于机器比较少,现将zookeeper和solr都部署在以下三台机器上.(以下操作都是在172.16.20.101主节点上进行的哦) 172.16.20.101 主节点 172.16.20.102 从节点 172.16.20.103 从节点 2.Zookeeper集群部署 1)访问官网下载zookeeper安装包,我用的是zookeeper-3.4.8.tar.gz 2)解压安装包,我是解压到自己新建的目录/data/zookeeper下. tar -zxvf zookeep…

今天分享一篇从0到1搭建Spark集群的步骤,企业中大家亦可以参照次集群搭建自己的Spark集群. 一.下载Spark安装包 可以从官网下载,本集群选择的版本是spark-1.6.0-bin-hadoop2.6 在官网中找到对应的链接即可http://spark.apache.org/downloads.html 或者用本人云盘下载地址 附上链接如下链接:https://pan.baidu.com/s/1o7Vrkue 密码:sc2z 二.部署和规划Spark集群 提前准备好四台虚拟主机,三台主…