这里我以zookeeper3.4.10.tar.gz来演示安装,安装到/usr/local/soft目录下. 一.单机版配置 1.安装和配置 #.下载 wget http://apache.fayea.com/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz #.解压 tar -zxvf zookeeper3.4.10.tar.gz #.在zookeeper-/conf目录下创建目录: mkdir data mkdir logs #.将zook…

Spark standalone安装-最小化集群部署(Spark官方建议使用Standalone模式)        集群规划:    主机        IP                    软件      进程    sc1        192.168.1.61    spark    Master.Worker    sc2        192.168.1.62    spark    Worker    sc3        192.168.1.63    spark    W…

Kubernetes是什么? 首先,它是一个全新的基于容器技术的分布式架构领先方案.这个方案尽然很新,但它是谷歌十几年以来大规模应用容器技术的经验积累和升华的一个重要成果.确切地说,kubernetes是谷歌严格保密十几年的秘密武器Borg的一个开源版本.Borg是谷歌的一个久负盛名的内部使用的大规模集群管理系统,它基于容器技术,目的是实现资源管理的自动化,以及跨多个数据中心的资源利用率的最大化. 2015年4月,传闻许久的Borg论文伴随kubernetes(K8S)的高调宣传被谷歌首次公开,…

1.   Redis的安装 1.1. Redis的安装 Redis是c语言开发的. 安装redis需要c语言的编译环境.如果没有gcc需要在线安装.yum install gcc-c++ 安装步骤: 第一步:redis的源码包上传到linux系统. 第二步:解压缩redis. 第三步:编译.进入redis源码目录.make 第四步:安装.make install PREFIX=/usr/local/redis PREFIX参数指定redis的安装目录.一般软件安装到/usr目录下 1.2. 连接…

server.properties中所有配置参数说明(解释) broker.id =0每一个broker在集群中的唯一表示,要求是正数.当该服务器的IP地址发生改变时,broker.id没有变化,则不会影响consumers的消息情况log.dirs=/data/kafka-logskafka数据的存放地址,多个地址的话用逗号分割 /data/kafka-logs-1,/data/kafka-logs-2port =9092broker server服务端口message.max.bytes =…

hadoop集群的安装步骤和配置 hadoop是由java语言编写的,首先我们肯定要在电脑中安装jdk,配置好jdk的环境,接下来就是安装hadoop集群的步骤了,在安装之前需要创建hadoop用户组和用户,另外我此时使用的是一主(master)三从(slave1.slave2.slave3). 1. 创建Hadoop组和hadoop用户 [root@master ~]# groupadd hadoop [root@master ~]# useradd -g hadoop hadoop 2. 上…

1. 安装Redis版本:win-3.0.501https://github.com/MSOpenTech/redis/releases页面有,我下载的是zip版本的:Redis-x64-3.0.501.zip:最好也下载源代码的zip包. 将redis解压,如解压到d:\rediscluster\redis(压缩包内无文件夹) 2. 安装Ruby http://dl.bintray.com/oneclick/rubyinstaller/rubyinstaller-2.2.4-x64.exe 这…

1. 简介: 1.1. ETCD是kubernetes和openstack都用到的组件,需要首先装好 1.2. 官方网站:https://coreos.com/etcd/ 1.3. ETCD的作用: Etcd是Kubernetes的存储状态的数据库.虽然Kubernetes系统中有重要的内存缓存,但Etcd被认为是记录系统状态. Etcd的快速总结:它是一个集群分布式数据库,它可以提供分布式数据的一致性.这类的系统(如Zookeeper, Consul)是在    Google开发的chubby…

1.下载与解压 Zookeeper下载地址:http://www.apache.org/dyn/closer.cgi/zookeeper/ 下载完成以后解压到一个特定目录 同步时间所有节点的时间,并关闭防火墙 $ ntpdate -u ntp.sjtu.edu.cn $ service iptables stop 2.Zooker配置 Zookeeper集群模式至少需要3台主机进行搭建,准备三台主机Serve1.Server2.Server3 » 在Zookeeper的conf目录下创建myid…

使用2.3.0版本,因为公司生产环境是这个版本 一.下载安装 cd /opt wget https://archive.apache.org/dist/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz -bin-hadoop2..tgz -bin-hadoop2..tgz 二.配置文件spark相对于hadoop配置文件和配置项目都比较少,但是spark有5中运行模式,每种模式对应的配置和情况都不一样所以spark的重点是深入了解spark的5中运行…

一.hadoop下载 使用2.7.6版本,因为公司生产环境是这个版本 cd /opt wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz 二.配置文件 参考文档:https://hadoop.apache.org/docs/r2.7.6 在$HADOOP_HOME/etc/hadoop目录下需要配置7个文件 1.core-site.xml <?xml version="1…

Hadoop教程(五)Hadoop分布式集群部署安装 1 Hadoop分布式集群部署安装 在hadoop2.0中通常由两个NameNode组成,一个处于active状态,还有一个处于standby状态. Active NameNode对外提供服务,而Standby NameNode则不正确外提供服务,仅同步activenamenode的状态,以便可以在它失败时高速进行切换. hadoop2.0官方提供了两种HDFS HA的解决方式.一种是NFS,还有一种是QJM. 这里我们使用简单的QJM. 在…

1.Kafka集群部署 1.1集群部署的基本流程 下载安装包.解压安装包.修改配置文件.分发安装包.启动集群 1.2集群部署的基础环境准备 安装前的准备工作(zk集群已经部署完毕)  关闭防火墙 chkconfig iptables off && setenforce 0  创建用户 groupadd kafka && useradd kafka && usermod -a -G kafka kafka  创建工作目录并赋权 mkdir -p /hom…

超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程.包含,Ubuntu服务器创建.远程工具连接配置.Ubuntu服务器配置.Hadoop文件配置.Hadoop格式化.启动.(首更时间2016年10月27日) 主机名/hostname IP 角色 hadoop1 192.168.193.131 ResourceManager/NameNode/SecondaryNameNode hadoop2 192.168.193.132 NodeManager/…

一.环境 1.系统: a.CentOS Linux release 7.4.1708 (Core) b.更新yum源和安装常用软件 #  yum -y install  epel-release bash-completion.noarch bash-completion-extras.noarch vim net-tools 2.节点:6台 3.配置时间同步 (chrony) 博客:http://www.cnblogs.com/weijie0717/p/8549204.html 4.关闭 fi…

文章转载自:https://mp.weixin.qq.com/s?__biz=MzI1MDgwNzQ1MQ==&mid=2247485243&idx=1&sn=e425c31af90c72c75d535e16d71f728b&chksm=e9fdd2cfde8a5bd9423b9b15f69e305fc5fa30c543f941f57c8b456d28496e871a46b7faebd7&scene=178&cur_album_id=160084541737…

MariaDB在centos 7.3的安装,配置和集群搭配 阿里云最新选配系统中,只有centos7.3可选,因此,基于centos 7的MariaDB的安装,配置... 全部删除MySQL/MariaDB MySQL 已经不再包含在 CentOS 7 的源中,而改用了 MariaDB; 1.使用rpm -qa | grep mariadb搜索 MariaDB 现有的包: [root@localhost ~]# rpm -qa | grep mariadb mariadb-server-5.5.…

dubbo集群部署安装依赖于zookeeper,所以先安装zookeeper集群. 1.准备三台机器做集群 2.配置 配置java环境  ,2,修改操作系统的/etc/hosts文件,添加IP与主机名映射: 具体看这里 http://www.cnblogs.com/lihaoyang/p/8341760.html   2.下载zookeeper-3.4.10.tar.gz 到/data/program/software/目录, 在网上下载或者 # wget http://mirror.bit.e…

一.集群部署 1.准备三台机器,安装好ZK.强烈建议奇数台机器,因为zookeeper 通过判断大多数节点的存活来判断整个服务是否可用.3个节点,挂掉了2个表示整个集群挂掉,而用偶数4个,挂掉了2个也表示其并不是大部分存活,因此也会挂掉,这样反而觉得多浪费了一台机器资源. 2.修改配置文件 固定语法格式:server.节点ID=ip:数据同步端口:选举端口 节点ID:服务id手动指定1至125之间的数字,并写到对应服务节点的 {dataDir}/myid 文件中. IP地址:节点的远程IP地址…

  先整体介绍一下搭建storm集群的步骤: 设置zookeeper集群 安装依赖到所有nimbus和worker节点 下载并解压storm发布版本到所有nimbus和worker节点 配置storm.yaml 启动相关后台进程 1 配置zookeeper集群      我们知道storm通过zookeeper来协调整个集群.zookeeper不是用来做消息传递,因此storm不会给zookeeper带来很大的压力.单节点的zookeeper在大多情形下是可以胜任的,但是如果你想得到更好的可靠性…

本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 (5)Ceph 与 OpenStack 集成的实现 (6)QEMU-KVM 和 Ceph RBD 的 缓存机制总结 (7)Ceph 的基本操作和常见故障排除方法 1. 测试环境 为了深入学习 Ceph 以及 Ceph 和 OpenStack 的集成,搭建了如下的测试环境: 硬件环境: System…

Redis集群部署文档(centos6系统) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下) 127.0.0.1:7000127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 首先到http://download.redis.io/releases/下载redis-3.0.5.tar.gz或者其他…

基于winserver的Apollo配置中心分布式&集群部署实践(正确部署姿势)   前言 前几天对Apollo配置中心的demo进行一个部署试用,现公司已决定使用,这两天进行分布式部署的时候,每一步都踩着坑过来的.因此写文档与需要的朋友分享. 此篇文章不代表官方部署流程,只是自己的部署的实践方式,屏蔽了一些官方的多余的部署讲解.如果有问题还请到Apollo的wiki文档进行查看:https://github.com/ctripcorp/apollo/wiki/%E5%88%86%E5%B8%8…

.下载redis source包 链接:https://pan.baidu.com/s/122ZCjNvjl9Jx6M2YsLrncw 密码:92ze 2.解压 tar -xzf redis-3.2.9.tar.gz 3.安装,如果系统没有安装gcc就先安装下 yun install gcc $cd redis-3.2.9 // 编译 $make // 安装到/usr/local/redis $make PREFIX=/usr/local/redis install 4.创建pid,日志,数据d…

Storm 系列(二)Storm 集群部署和配置 本章中主要介绍了 Storm 的部署过程以及相关的配置信息.通过本章内容,帮助读者从零开始搭建一个 Storm 集群. 一.Storm 的依赖组件 1.1 要部署 Storm,需要要部署以下几个相关组件. JDK :从 Oracle 官网下载,设置环境变量(JAVA_HOME.PATH 和 CLASSPATH). Zookeeper :安装详见(http://www.cnblogs.com/binarylei/p/8721129.html),St…

PS:所有机器主机名请提前设置好 在上一篇,ETCD集群我们已经搭建成功了,下面我们需要搭建master相关组件,apiverser需要与etcd通信并操作 1.配置证书 将etcd证书上传到master节点,在etcd01上操作 USER=root export K8SHOST1=192.168.1.27 for HOST in ${K8SHOST1} do ssh ${USER}@${HOST} 'mkdir -p /etc/kubernetes/pki/etcd' scp -r /etc/…

Redis集群部署文档(centos6系统) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下) 127.0.0.1:7000127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 首先到http://download.redis.io/releases/下载redis-3.0.5.tar.gz或者其他…

三.完整集群部署 - kubernetes-with-ca 1. 理解认证授权 1.1 为什么要认证 想理解认证,我们得从认证解决什么问题.防止什么问题的发生入手.防止什么问题呢?是防止有人入侵你的集群,root你的机器后让我们集群依然安全吗?不是吧,root都到手了,那就为所欲为,防不胜防了.其实网络安全本身就是为了解决在某些假设成立的条件下如何防范的问题.比如一个非常重要的假设就是两个节点或者ip之间的通讯网络是不可信任的,可能会被第三方窃取,也可能会被第三方篡改.就像我们上学时候给心仪的女…

1.rocketmq图形化控制台安装 虽然rocketmq为用户提供了使用命令行管理主题.消费组以及broker配置的功能,但对于不够熟练的非运维人员来说,命令行的管理界面还是较难使用的.为此,我们可以使用图形化的管理界面来简化管理操作. rocketmq官方推荐的图形化控制台目前还处在不成熟的孵化阶段.仓库地址为(https://github.com/apache/rocketmq-externals),其中包含了rocketmq相关拓展的.属于孵化期的各种项目.下载源码之后,找到rocket…

Redis集群部署安装 Linux版本:CentOS release 6.9 Redis 版本:redis-3.2.12.tar.gz 1.执行解压命令 tar -xzf redis-3.2.12.tar.gz 2.执行编译命令 make MALLOC=libc 3.执行安装到指定目录命令,此次指定目录为 /my/mysys/redis make PREFIX=/my/mysys/redis install 完成后目录结构 4.单服务器模拟3主3从部署 节点(文件夹) ip 端口 类型 cp00…