http://download.csdn.net/download/yameing/8011891 一. 规划 1.  准备安装包 JDK:http://download.oracle.com/otn-pub/java/jdk/7u67-b01/jdk-7u67-linux-x64.tar.gz Hadoop:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.0/hadoop-2.5.0.tar.gz Hive:http://apac…

基于VMware的虚拟Linux集群搭建-lvs+keepalived 本文通过keepalived实现lvsserver的的双机热备和真实server之间的负载均衡.这方面的blog挺多,可是每一个人搭建集群的环境不同,遇到的问题也不同.本文简述配置的一些过程以及配置过程中遇到问题时的解决方式. 准本工作 1. 创建Linux虚拟机 本文是基于Vmare虚拟环境搭建集群的.所以首先在Vmare中创建一些虚拟机(安装一个Linux系统.其它的复制第一次安装的就可以).本文创建4台虚拟机.网卡模式…

Redis 5.0.5集群搭建 一.概述 Redis3.0版本之后支持Cluster. 1.1.redis cluster的现状 目前redis支持的cluster特性: 1):节点自动发现 2):slave->master 选举,集群容错 3):Hot resharding:在线分片 4):进群管理:cluster xxx 5):基于配置(nodes-port.conf)的集群管理 6):ASK 转向/MOVED 转向机制. 1.2.redis cluster 架构 1)redis-clust…

上一次搭建的Hadoop是一个伪分布式的,这次我们做一个用于个人的Hadoop集群(希望对大家搭建集群有所帮助): 集群节点分配: Park01 Zookeeper NameNode (active) Resourcemanager (active) Park02 Zookeeper NameNode (standby) Park03 Zookeeper ResourceManager (standby) Park04 DataNode NodeManager JournalNode Park0…

前置条件: 之前已经搭好了带有HDFS, MapReduce,Yarn 的 Hadoop 集群 链接: ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建 上传tar包并修改配置文件 解压tar包到指定目录 tar -zxvf hbase-2.0.6-bin.tar.hz -C /opt/ronnie 进入配置目录 vim hbase-env.sh 修改 hbase-env.sh文件 # 添加jdk路径 export JAVA_HOME=/u…

从这一篇文章开始会有三篇文章依次介绍集群搭建 「Before install」 「Process」 「After install」 继上一篇使用 docker 部署单机 CDH 的文章,当我们使用 docker 评估完相关组件和一些功能之后,接下来就是使用 CDH express 版本来搭建集群. 搭建之前应该关注一下手册看下还有哪些可以注意的地方参见官方 before your install https://www.cloudera.com/documentation/enterprise/…

1.基本环境: 操作系统: Centos 7.2.1511 三台虚机: 192.168.163.224  master 192.168.163.225  node1 192.168.163.226  node2 软件包 hadoop-2.7.2.tar.gz jdk-7u79-linux-x64.tar.gz 2.配置系统环境 配置ntp时间同步 参考http://bigtrash.blog.51cto.com/8966424/1826481 修改hostname 192.168.163.224…

redis3.0版本之后支持Cluster,具体介绍redis集群我就不多说,了解请看redis中文简介. 首先,直接访问redis.io官网,下载redis.tar.gz,现在版本3.0.3,我下面已经在虚拟机启动了两个linux来部署redis. 1. 下载和解包 cd /usr/local/ wget http://download.redis.io/releases/redis-3.0.3.tar.gz tar -zxvf redis-3.0.3.tar.gz mv redis-3.0.…

Redis3 正式支持了 cluster,是为了解决构建redis集群时的诸多不便 (1)像操作单个redis一样操作key,不用操心key在哪个节点上(2)在线动态添加.删除redis节点,不用停止服务(3)根据节点性能,动态分配不同数量的key到不同redis节点 (4)每个节点都配有slave,并自动监测和切换 Redis3 cluster 中增加了一个重要概念: hash slot(哈希槽),共有16384个slotkey不是直接放入redis中了,而是放入slot中,再把slot放入r…

集群搭建完成之后其实还有很多配置工作要做,这里我列举一些我去做的一些. 首先是去把 zk 的角色重新分配一下,不知道是不是我在配置的时候遗漏了什么在启动之后就有报警说目前只能检查到一个节点.去将 zk 角色调整到三个节点. 上一张目前的角色图 下面我将分别列出各应用的各个简写代表的意义: Hbase: M: Master | RS: RagionServer HDFS: B: Balance | DN: DataNode | FC: Failover Controller | JN: Journ…

文件环境:CentOS7 + redis4.0.6 先去官网下载redis:https://redis.io/,然后上传到你的虚拟机,我上传到了/mysoft 先解压->然后进入主目录->安装 安装完,进入src目录,将文件复制到目录 进入目录,在这里我们建立一个redis集群文件夹,以及用来存放节点配置文件的三个文件夹7001,7002,7003. 将redis主目录里面的配置文件拷贝到这三个文件夹 vim /redis.conf 注意:如果不把bind的127.0.0.1改成网络ip,之后…

redis3.0版本之后支持Cluster,具体介绍redis集群我就不多说,了解请看redis中文简介. 首先,直接访问redis.io官网,下载redis.tar.gz,现在版本3.0.3,我下面已经在虚拟机启动了两个linux来部署redis. 1. 下载和解包 cd /usr/local/ wget http://download.redis.io/releases/redis-3.0.3.tar.gz tar -zxvf redis-3.0.3.tar.gz mv redis-3.0.…

集群规划 Master JobManager Standby JobManager Task Manager Zookeeper flink01 √ √ flink02 √ √ flink03 √ √ √ flink04 √ √ √ 前置准备 克隆4台虚拟机 网络配置 vim /etc/netplan/01-network-manager-all.yaml 修改配置文件 集群网络配置如下: # flink01 network: version: 2 renderer: NetworkManage…

安装redis sudo apt update sudo apt install build-essential tcl cd ~ mkdir document/ cd document/ curl -O http://download.redis.io/redis-stable.tar.gz tar zxvf redis-stable.tar.gz cd redis-stable/ make make test sudo make install cp ~/document/redis-sta…

上一篇文章主要是介绍了,每台虚拟机的环境配置.接下来我们开始有关K8S的相关部署. 另外补充一下上一篇文章中的K8S的change​log链接: https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.24.md 1 配置yum源 所有节点都需要执行此操作 curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/…

1 使用kubeadm部署Kubernetes 如无特殊说明,以下操作可以在所有节点上进行. 1.1 首先我们需要配置一下阿里源 cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=1 repo_gpgc…

文 / vincentzh 原文连接:http://www.cnblogs.com/vincentzh/p/6034187.html 这里写点 Hadoop2.6.0集群的安装和简单配置,一方面是为自己学习的过程做以记录,另一方面希望也能帮助到和LZ一样的Hadoop初学者,去搭建自己的学习和练习操作环境,后期的 MapReduce 开发环境的配置和 MapReduce 程序开发会慢慢更新出来,LZ也是边学习边记录更新博客,路人如有问题欢迎提出来一起探讨解决,不足的地方希望路人多指教,共勉! 目…

准备工作 Hbase的搭建是依赖于Hadoop的,Hbase的数据文件实际上存储在HDFS文件系统中,所以我们需要先搭建hadoop环境,之前的博文中已经搭建过了(详见http://www.cnblogs.com/bxljoy/p/3880250.html ),这里就不在赘述. 版本选择 由于之前搭建的hadoop2.2.0社区版,hadoop和hbase之间存在版本的兼容性问题,并不是所有的版本都可以相互兼容,所以在此我选择:Hbase 0.98版本,能够完美兼容hadoop2.2.0版本.我…

欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3866791.html Apache Spark   a fast and general engine for large-scale data processing Spark是一个高效的分布式计算系统,相比Hadoop,它在性能上比Hadoop要高100倍.Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它克服了MapReduce在迭代式计算和交互式计算方面的不足,通过引入RD…

这次搭建我使用的机器 os 是 Centos7.4 RH 系的下面以流的方式纪录搭建过程以及注意事项 Step1: 配置域名相关,因为只有三台机器组集群,所以直接使用了 hosts 的方法: 修改主机名 hostnamectl .bigdata.com 然后在 /etc/hosts 文件中配置相关机器的域名 和 域名简写 x.x.x.x ryze-.bigdata.com ryze- x.x.x.x zed-.bigdata.com zed- x.x.x.x zed-.bigdata.com z…

1.机器信息 五台centos 64位机器 2.集群规划 Server Name Hadoop Cluster Zookeeper   Ensemble HBase Cluster Hadoop01 Name node   & Resource manager   Master Hadoop02 Secondary name   node   Hadoop03 Data node   & Node manager √ Region server Hadoop04 Data node   &…

这篇文章介绍的是简单的配置Hadoop集群的方法,适合实验和小型项目用,正式运行的集群需要用更正规的方法和更详细的参数配置,不适合使用这篇文章. 相关随笔: 用python + hadoop streaming 编写分布式程序(一) -- 原理介绍,样例程序与本地调试 用python + hadoop streaming 编写分布式程序(二) -- 在集群上运行与监控 用python + hadoop streaming 编写分布式程序(三) -- 自定义功能 安装 JDK 在终端输入 $ ja…

VirtualBox虚拟机 下载地址 下载择操作系统对应的基础安装包 下载扩展包(不区分操作系统) http://www.oracle.com/technetwork/cn/server-storage/virtualbox/downloads/index.html 安装基础包 按照提示安装即可 扩展包安装 1 先安装基础包 2 安装扩展包 打开虚拟机 -> 管理 -> 全局设定 -> 扩展 -> 点击右边的加号 -> 选择下载的扩展包文件,按照提示安装即可 VBox安装Ce…

要想深入的学习hadoop数据分析技术,首要的任务是必需要将hadoop集群环境搭建起来,本文主要讲述怎样搭建一套hadoop全然分布式集群环境. 环境配置:2台64位的redhat6.5 +  1台64位centos6.9 + Hadoop + java7 一.先配置server的主机名 Namenode节点相应的主机名为master Datanode节点相应的主机名分别为node1.node2 1. 在每一台server上运行vim /etc/hosts, 先删除hosts里面的内容.然后追…

由于之前已经搭建过hadoop相关环境,现在搭建spark的预备工作只有scala环境了 一,配置scala环境 1.解压tar包后,编辑/etc/profile 2.source /etc/profile 3.scala -version 4.分发到其他两台机器上 二.搭建spark集群 1.配置spark环境变量 2.进入spark的conf目录下 cp -a spark-env.sh.template spark-env.sh cp -a slaves.template slaves 3.…

配置文件采用yaml方式来配置 生产中取消了仲裁者的角色,因为仲裁者也不会存储数据,只是起到选举的作用,线上为了保证数据安全,每份数据都会配置两个副本集,也就是每份数据存储了三份. 优化配置,采用五台集群 使用非root账户搭建mongodb集群.  环境准备 系统系统 centos7.4五台服务器:192.168.0.31/32/33/34/35安装包: 服务器规划 端口分配: mongos:20000 config:21000 shard1:27001 shard2:27002 shard3…

模式简介 Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施(installation). Redis 集群不支持那些需要同时处理多个键的 Redis 命令,比如:mget, 因为执行这些命令需要在多个 Redis 节点之间移动数据, 并且在高负载的情况下, 这些命令将降低 Redis 集群的性能, 并导致不可预测的行为. Redis 集群通过分区(partition)来提供一定程度的可用性(availability): 即使集群中有一部分节点失效或者无法进行通讯, 集群也…

准备工作用两台虚拟机模拟6个节点,一台机器3个节点,创建出3 master.3 salve 环境. redis 采用 redis-5.0.4 版本. 两台虚拟机都是 CentOS ,一台 CentOS7(IP:192.168.118.110),一台 CentOS7(IP:192.168.118.111) . 安装过程 1. 安装支持的库文件: yum -y install gcc automake autoconf libtool make 2. 解压文件: cd /usr/local/tar…

首先部署redis-5.0.3,请参考我的另一篇文章 https://www.cnblogs.com/djlsunshine/p/10592174.html 启动redis服务 # redis-server /root/redis-5.0.3/redis.conf [root@localhost ~]# redis-server /root/redis-/redis.conf :C Mar ::01.274 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO…

一.去官网下载redis5.0 https://redis.io/download 然后解压安装 $ .tar.gz $ cd redis- $ make 二.准备配置文件 打开redis-5.0.4/目录中的redis.conf文件,也就是redis的配置文件 1.注释掉本行配置,否则客户端连接会报错 2.修改端口为6381(后面还需要复制出来5个配置文件,6个配置文件端口分别从6381到6386) 3.修改启动方式为后台启动 4.这里文件名改成和端口一致 5.重要!打开三项cluster集群…