本文档基于如下原始文档(CentOS)创建: http://blog.csdn.net/xu470438000/article/details/42971091 修改了一些路径的错误,补全了一些命令执行结果信息,确认在Mac下创建集群成功   同时参考 http://blog.csdn.net/myrainblues/article/details/25881535       (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的red…

配置准备: redis3.2.11安装配置规划 机器 192.168.169.135(本机虚拟机) 系统 Red Hat Enterprise Linux Server release 6.4 (Santiago) 系统内核 2.6.32-358.el6.x86_64 安装包 redis-3.2.11.tar.gz 路径 Tar包路径:/home/usird/redis-3.2.11.tar.gz 解压后路径:/home/usird/redis-3.2.11 放置配置文件路径:/home/usi…

一.环境 4.用户 hadoop 5.目录规划 /home/hadoop/app    #程序目录 /home/hadoop/data  #数据目录     #打开文件的最大数 vi /etc/security/limits.d/20-nproc.conf soft soft nproc 102400root soft nproc unlimitedsoft soft nofile 102400soft hard nofile 102400   二.系统环境配置  #root操作 (所有主机)…

安装 zookeeper http://www.cnblogs.com/xiaojf/p/6572351.html安装 scala http://www.cnblogs.com/xiaojf/p/6568432.html [root@m1 jar]# -0.10.2.0.tgz -C ../ [root@m1 jar]# cd .. [root@m1 soft]# ll total drwxr-xr-x. root root Mar : jar drwxr-xr-x. uucp Dec : jd…

原因: hadoop-eclipse-plugin-2.7.3.jar 编译的jdk版本和eclipse启动使用的jdk版本不一致导致.  解决方案一: 修改myeclipse.ini文件即可解决. D:/java/MyEclipse/Common/binary/com.sun.java.jdk.win32.x86_1.6.0.013/jre/bin/client/jvm.dll 改为: D:/Program Files (x86)/Java/jdk1.7.0_45/jre/bin/client…

前言 前面的系列文章已经介绍了Nacos的如何接入SpringCloud,以及Nacos的基本使用方式 之前的文章中都是基于单机模式部署进行讲解的,本文对Nacos的集群部署方式进行说明 环境准备 JDK8 Centos7.5(ip:10.1.8.27) MySQL 5.6.5+ Nacos-server:1.0.1 请提前下载Nacos-server:1.0.1压缩包并解压至相应目录 本次的Nacos-server在linux服务器上进行启动. 集群模式部署 Nacos文档中提供了三种集群部署…

Redis集群部署文档(centos6系统) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下) 127.0.0.1:7000127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 首先到http://download.redis.io/releases/下载redis-3.0.5.tar.gz或者其他…

redis3.0集群部署和测试 环境介绍 两台Centos7的虚拟机模拟6个节点,A台3个master节点,B台3个slave节点A地址:172.16.81.140B地址:172.16.81.141redis版本:redis-3.2.4 部署前准备 关闭防火墙--->systemctl stop firewalld开机禁用防火墙--->systemctl disable firewalld临时关闭selinux--->setenforce 0永久关闭selinux--->sed -…

原文:Quartz.NET 3.0.7 + MySql 实现动态调度作业+动态切换版本+多作业引用同一程序集不同版本+持久化+集群(一) 前端时间,接到领导任务,写了一个调度框架.今天决定把心路历程记录在这里.做个纪念.也方便提供给我这样的新手朋友,避免大家踩同样的坑. 在生活中,"经验教训"常常一起出现,但在如今的快餐年代,太多人往往只关注经验,希望可以一步登天. 在巨人的肩膀上固然可以看得更高,更远,但任何事物都应该辩证的看. 经验固然可以让人走捷径, 但教训可以让人不走弯路. 希…

我用的Mac的终端 ------------------------- 1.Redis简介 centos(5.4)  Redis是一个key-value存储系统.和Memcached类似,但是解决了断电后数据完全丢失的情况,而且她支持更多无化的value类型,除了和string外,还支持lists(链表).sets(集合)和zsets(有序集合)几种数据类型.这些数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的. 2.Redis的性能…

Redis集群部署文档(centos6系统) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下) 127.0.0.1:7000127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 首先到http://download.redis.io/releases/下载redis-3.0.5.tar.gz或者其他…

Redis集群部署安装 Linux版本:CentOS release 6.9 Redis 版本:redis-3.2.12.tar.gz 1.执行解压命令 tar -xzf redis-3.2.12.tar.gz 2.执行编译命令 make MALLOC=libc 3.执行安装到指定目录命令,此次指定目录为 /my/mysys/redis make PREFIX=/my/mysys/redis install 完成后目录结构 4.单服务器模拟3主3从部署 节点(文件夹) ip 端口 类型 cp00…

之前写过一套基于redis-4.0.6版本的测试集群部署 https://www.cnblogs.com/mrice/p/10730309.html 最近生产环境需要部署一套redis-5.0.5版本集群: 环境: 服务器:6台 操作系统:Red Hat Enterprise Linux Server release 7.4 redis:redis-5.0.5 ruby:ruby-2.0.0 (redis-3.3.5.gem) 一.基础安装 1.安装好ruby 2.安装redis-3.3.5.g…

Kafka 0.9版本对java client的api做出了较大调整,本文主要总结了Kafka 0.9在集群搭建.高可用性.新API方面的相关过程和细节,以及本人在安装调试过程中踩出的各种坑. 关于Kafka的结构.功能.特点.适用场景等,网上到处都是,我就不再赘述了,直接进入正文 Kafka 0.9集群安装配置 操作系统:CentOS 6.5 1. 安装Java环境 Zookeeper和Kafka的运行都需要Java环境,所以先安装JRE,Kafka默认使用G1垃圾回收器,如果不更改垃圾回收器…

Hadoop的集群部署和单节点部署类似,配置文件不同,另外需要修改网络方面的配置 首先,准备3台虚拟机,系统为CentOS 6.6,其中一台为namenode 剩余两台为 datanode: 修改主机名主节点为:hadoopha,数据节点主机名分别为hadoop1.hadoop2,具体修改方法点击这里查看 本例中这3台虚拟机处于同一个局域网,网络连接设置为桥接,ip地址分别为是hadoopha为:192.168.1.42,hadoop1为:192.168.1.78.hadoop2为:192.16…

今天分享一篇从0到1搭建Spark集群的步骤,企业中大家亦可以参照次集群搭建自己的Spark集群. 一.下载Spark安装包 可以从官网下载,本集群选择的版本是spark-1.6.0-bin-hadoop2.6 在官网中找到对应的链接即可http://spark.apache.org/downloads.html 或者用本人云盘下载地址 附上链接如下链接:https://pan.baidu.com/s/1o7Vrkue 密码:sc2z 二.部署和规划Spark集群 提前准备好四台虚拟主机,三台主…

Mongo低版本和高版本的sharding集群配置,细节不太一样.目前网上的配置文档大都是针对低版本的.本人在配置3.6.1版本的mongosharding集群的过程中,碰到不少问题,官方文档没有直观的示例,参考起来有点一头雾水.特整理记录下自己的测试环境sharding集群配置过程,供大家参考. Mongo sharding集群由config server,mongos(路由)及shards服务器组成.他们的关系及扮演的角色,网上到处都是,不再详细介绍. 最开始,打算将config.mongo…

三.完整集群部署 - kubernetes-with-ca 1. 理解认证授权 1.1 为什么要认证 想理解认证,我们得从认证解决什么问题.防止什么问题的发生入手.防止什么问题呢?是防止有人入侵你的集群,root你的机器后让我们集群依然安全吗?不是吧,root都到手了,那就为所欲为,防不胜防了.其实网络安全本身就是为了解决在某些假设成立的条件下如何防范的问题.比如一个非常重要的假设就是两个节点或者ip之间的通讯网络是不可信任的,可能会被第三方窃取,也可能会被第三方篡改.就像我们上学时候给心仪的女…

PXC(Percona-XtraDB-Cluster)5.7版本集群部署 Centos 7.3系统部署Mysql 集群 PXC三个节点分别执行和安装(1)配置hosts cat /etc/hosts172.16.2.10 node1172.16.2.11 node2172.16.2.12 node3 (2)依赖 yum –y remove mariadb-* yum -y install gcc gcc-c++ perl-IO-Socket-SSL.noarch perl-DBD-MySQL.x…

大数据简介,概念部分 概念部分,建议之前没有任何大数据相关知识的朋友阅读 大数据概论 什么是大数据 大数据(Big Data)是指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产 粗略解读以下 常规软件工具:例如 JavaEE.Mysql(500-1000w数据)即使构建 Mysql 集群,集群中节点的数量也不是无限增加的. 海量.高增长率:数据本身基数大,每天新加入的数据也多 多样…

二进制方法-部署k8s集群部署1.18版本 1. 前置知识点 1.1 生产环境可部署kubernetes集群的两种方式 目前生产部署Kubernetes集群主要有两种方式 kuberadm Kubeadm是一个K8s部署工具,提供kubeadm init和kubeadm join,用于快速部署Kubernetes集群. 二进制包 从github下载发行版的二进制包,手动部署每个组件,组成Kubernetes集群. Kubeadm降低部署门槛,但屏蔽了很多细节,遇到问题很难排查.如果想更容易可控,…

Storm集群部署 所有集群部署的基本流程都差不多:下载安装包并上传.解压安装包并配置环境变量.修改配置文件.分发安装包.启动集群.查看集群是否部署成功. 1.所有的集群上都要配置hosts vi  /etc/hosts 192.168.33.201 storm1 hadoop1 zk1 192.168.33.202 storm2 hadoop2 zk2 192.168.33.203 storm3 hadoop3 zk3 2.集群部署的基础环境准备 安装前,zookeeper集群已经部署完毕!!…

二.基础集群部署 - kubernetes-simple 1. 部署ETCD(主节点) 1.1 简介 kubernetes需要存储很多东西,像它本身的节点信息,组件信息,还有通过kubernetes运行的pod,deployment,service等等.都需要持久化.etcd就是它的数据中心.生产环境中为了保证数据中心的高可用和数据的一致性,一般会部署最少三个节点.我们这里以学习为主就只在主节点部署一个实例. 如果你的环境已经有了etcd服务(不管是单点还是集群),可以忽略这一步.前提是你在生成…

一.准备三台服务器,配置好主机名和ip地址 二.服务器初始化:包括安装常用命令工具,修改系统时区,校对系统时间,关闭selinux,关闭firewalld,修改主机名,修改系统文件描述符,优化内核参数,优化数据盘挂载参数 1.安装常用命令工具 yum install vim net-tools bash-completion wget unzip ntp bzip2 epel-release -y 2.修改系统时区,校对系统时间 timedatectl set-timezone Asia/Sha…

hbase-2.0.4集群部署 1. 集群节点规划: rzx1 HMaster,HRegionServer rzx2 HRegionServer rzx3 HRegionServer 前提:搭建好hadoop集群 2. 在rzx1节点上配置执行环境的JAVA_HOME和是否利用自带Zookeeper 在hbase目录下:vim conf/hbase-env.sh export JAVA_HOME=/home/bigdata/software/jdk1.8.0_201 export HBASE_M…

本例中Master节点和Node节点部署在同一台主机上. 1 部署kubelet 1.1 集群规划 主机名 角色 IP CFZX55-21.host.com kubelet 10.211.55.21 CFZX55-22.host.com kubelet 10.211.55.22 在21主机上操作. 1.2 生成kubelet的kubeconfig配置文件 #!/bin/bash KUBE_CONFIG="/opt/kubernetes/cfg/kubelet-bootstrap.kubeconf…

环境:OS:Centos 7Redis: 3.2.11主 从192.168.1.118:7001 192.168.1.118:8001192.168.1.118:7002 192.168.1.118:8002192.168.1.118:7003 192.168.1.118:8003 1.1 下载redis直接到官网下载,我这里下载的是redis-3.2.11.tar.gz.下载地址:http://download.redis.io/releases/ ----------------------…

一般来说,redis主从和mysql主从目的差不多,但redis主从配置很简单,主要在从节点配置文件指定主节点ip和端口,比如:slaveof 192.168.10.10 6379,然后启动主从,主从就搭建好了.redis主从中如果主节点发生故障,不会自动切换,需要借助redis的Sentinel(哨兵模式)或者keepalive来实现主的故障转移. 今天介绍下redis cluster集群模式:redis集群是一个无中心的分布式redis存储架构,可以在多个节点之间进行数据共享,解决了redi…

一.简介 redis集群是一个无中心的分布式Redis存储架构,可以在多个节点之间进行数据共享,解决了Redis高可用.可扩展等问题. redis集群提供了以下两个好处: 将数据自动切分(split)到多个节点 当集群中的某一个节点故障时,redis还可以继续处理客户端的请求.   集群中的主从复制 集群中的每个节点都有1个至N个复制品,其中一个为主节点,其余的为从节点,如果主节点下线了,集群就会把这个主节点的一个从节点设置为新的主节点,继续工作.这样集群就不会因为一个主节点的下线而无法正常工作…

1. Redis基础 1.1 Redis概述 Redis是一个开源.先进的key-value存储,并用于构建高性能.可扩展的应用程序的完美解决方案. Redis从它的许多竞争继承了三个主要特点:   ①Redis数据库完全在内存中,使用磁盘仅用于持久性:   ②相比许多键值对数据存储,Redis拥有一套较为丰富的数据类型:   ③Redis可以将数据复制到任意数据量的从服务器: 1.2 Redis优势 异常快速:Redis的速度非常快,每秒能执行约11万次set操作,每秒约81000次get操作…