注意ip地址为: 虚拟机ip设置 TYPE="Ethernet"BOOTPROTO="static"NAME="enp0s3"DEVICE="enp0s3"ONBOOT="yes"IPADDR="172.18.25.174"NETMASK="255.255.255.0"GATEWAY="172.18.25.1"DNS1=4.4.4.4DNS2=8.

集群原理-redis-cluster架构图 架构细节: (1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽. (2)节点的fail是通过集群中超过半数的节点检测失效时才生效. (3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可 (4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<->slot<->val

1. Graylog2 简介 Graylog 是一个简单易用.功能较全面的日志管理工具,相比 ELK 组合, 优点: 部署维护简单,一体化解决方案,不像ELK三个独立系统集成. 查相比ES json语法,搜索语法更加简单,如 source:mongo AND reponse_time_ms:>5000. 内置简单的告警. 可以将搜索条件导出为 json格式文本,方便开发调用ES rest api搜索脚本. 自己开发采集日志的脚本,并用curl/nc发送到Graylog Server,发送格式是自

为什么使用Zookeeper? 大部分分布式应用需要一个主控.协调器或控制器来管理物理分布的子进程(如资源.任务分配等)目前,大部分应用需要开发私有的协调程序,缺乏一个通用的机制协调程序的反复编写浪费,且难以形成通用.伸缩性好的协调器ZooKeeper:提供通用的分布式锁服务,用以协调分布式应用 Zookeeper能帮我们做什么? Hadoop2.0,使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode,存储配置信息等.HBase,使用Zookeeper的事件处理确保整个集

Kafka是一个MQ服务,流行的MQ服务器有三个,分别是ActiveMQ,RabbbitMQ和Kafka 目录说明:/home/fuqinqin/packages : 安装包存放目录/home/fuqinqin/kafka : kafka安装目录 1 . 下载安装包进入packages目录,下载安装包wget http://mirrors.hust.edu.cn/apache/kafka/1.0.1/kafka_2.11-1.0.1.tgz2. 解压tar -zxvf ./kafka_2.12-

搭建 Ceph 分布式集群( nautilus 版本 ) 一.服务器环境说明 主机名 角色 IP地址 ceph-admin ceph-deploy 192.168.92.21 ceph-node1 mon.mgr.osd 192.168.92.22 ceph-node2 mon.mgr.osd 192.168.92.23 ceph-node3 mon.mgr.osd 192.168.92.24 二.集群架构图 三.服务器环境准备 1. 配置 yum 仓库地址 对所有机器配置 epel 仓库.基础

硬件环境 本文适用的硬件环境如下 Linux版本:CentOS release 6.7 (Final) Redis版本: Redis已经成功安装,安装路径为/home/idata/yangfan/local/redis-3.2.1. 我们要在单台机器上搭建Redis集群,方式是通过不同的TCP端口启动多个实例,然后组成集群. 1.启动Redis多个实例 我们在Redis安装目录下创建目录cluster,并编写7000.conf~7005.conf 6个配置文件,这6个配置文件用来启动6个实例,后

硬件环境 本文适用的硬件环境如下 Linux版本:CentOS release 6.7 (Final) Redis版本: Redis已经成功安装,安装路径为/home/idata/yangfan/local/redis-3.2.1. 我们要在单台机器上搭建Redis集群,方式是通过不同的TCP端口启动多个实例,然后组成集群. 1.启动Redis多个实例 我们在Redis安装目录下创建目录cluster,并编写7000.conf~7005.conf 6个配置文件,这6个配置文件用来启动6个实例,后

前言 一直都想自己动手搭建一个Redis集群和MySQL的主从同步,当然不是依靠Docker的一键部署(虽然现在企业开发用的最多的是这种方式),所以本文就算是一个教程类文章吧,但在动手搭建之前,会先聊聊理论的东西,以便于大家有一个集群和主从同步的概念,如果有同学不了解Redis和MySQL,可以看一下我之前的两篇文章. Redis由浅入深深深深深剖析 从入门到入土:令人脱发的数据库底层设计 什么是Redis集群 简介 Redis是一个快速高效的NoSQL型数据库,由于其基于内存存储.单线程.多路

docker搭建redis集群 docker-compose是以多容器的方式启动,非常适合用来启动集群 一.环境准备 云环境:CentOS 7.6 64位 二.安装docker-compose #需要先安装企业版linux附加包(epel) yum -y install epel-release #安装pip yum -y install python-pip #安装docker-compose pip install docker-compose 三.创建docker-compose.yml

本文主要是记录一下快速搭建redis集群环境的方式. 环境简介:centos 7  + redis-3.2.4 本次用两个服务6个节点来搭建:192.168.116.120  和  192.168.116.121 192.168.116.120 端口为7000  7001 7002  3台 192.168.116.121  端口为7000 7001 7002  3台 注意 ,redis 集群使用redis-trib.rb 必须3主3从 ,也就是6个节点! 详细步骤: 1:下载解压redis-3.

用了这么久的hadoop,只会使用streaming接口跑任务,各种调优还不熟练,自定义inputformat , outputformat, partitioner 还不会写,于是干脆从头开始,自己搭一个玩玩,也熟悉一下整体架构. 整体环境: 主机Win7 i5 4核 8G内存 笔记本: 虚拟机(客户机)采用Centos5.9 ( 用这个的原因是不想用图形界面,并且以后还想试着装一下ICE) 3台互联的虚拟机搭建Hadoop集群: 1. 选用virtualbox V4.2.18 + Cento

前面的步骤请看  搭建Hadoop集群 (一) 安装Hadoop 解压安装 登录master, 下载解压hadoop 2.6.2压缩包到/home/hm/文件夹. (也可以从主机拖拽或者psftp压缩包到master) [hm@master ~]$ tar -xzvf hadoop-2.6.2.tar.gz -C ~ [hm@master ~]$ mv hadoop-2.6.2 hadoop[hm@master ~]$ cd hadoop/ 修改环境变量 [hm@master hadoop]$

2017年2月22日, 星期三 Cloudera Manager安装_搭建CDH集群 cpu   内存16G 内存12G 内存8G 默认单核单线 CDH1_node9 Server  || Agent 10G 6G 5G CDH2_node10 Agent 2G 1-1.5G 1G CDH3_node11 Agent 2G 1-1.5G 1G 1. • 系统环境准备 1.网络配置  vi /etc/sysconfig/network vi /etc/hosts 2.SSH免密钥登录 虚拟机的环境

环境: 一台CentOS虚拟机上部署六个节点,创建3个master,3个slave节点 1.下载并解压 cd /root wget http://download.redis.io/releases/redis-3.2.4.tar.gz tar -zxvf redis-3.2.4.tar.gz 2.编译并安装 cd redis-3.2.4 make && make install 3.将 redis-trib.rb 复制到 /usr/local/bin 目录下 cd src cp redi

Redis.之.环境搭建(集群) 现有环境: /u01/app/ |- redis # 单机版 |- redis-3.2.12    # redis源件 所需软件:redis-3.0.0.gem ------------------------------------------------------------------------------ 开始安装: 1. 安装ruby # yum -y install ruby # yum -y install rubygems # gem ins

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境 一.环境说明 个人理解:zookeeper可以独立搭建集群,hbase本身不能独立搭建集群需要和hadoop和hdfs整合 集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下: IP     角色10.10.50.133 master10.10.125.156 slave110.10.114.11

前言 Swarm 在 Docker 1.12 版本之前属于一个独立的项目,在 Docker 1.12 版本发布之后,该项目合并到了 Docker 中,成为 Docker 的一个子命令,docker swarm是创建服务器集群的工具,只需要几条命令就可以创建一个服务器集群.它内置一些服务器集群需要的工具,比如说:服务查找,网络,负载均衡等等 一.环境 centos 7.3 Docker version 1.12.6 ip 角色 192.168.6.130 manager 192.168.6.131

一.安装redis 1.安装gcc环境 yum install gcc-c++ 2.下载源码包并解压 wget http://download.redis.io/releases/redis-3.2.4.tar.gz tar -zxvf redis-.tar.gz cd redis- 3.安装ruby2.4.1并编译(一定要安装大于2.2.2的ruby,要不然redis在make的时候会报错) wget http://ftp.ruby-lang.org/pub/ruby/2.4/ruby-2.4

在上一章<kubeadm搭建kubernetes集群之二:创建master节点>的实战中,我们把kubernetes的master节点搭建好了,本章我们将加入node节点,使得整个环境可以部署应用: 前提条件 由于要用到谷歌的服务,所以要求您的网络环境可以***,具体的方案就不在这里说了: 复制文件 如下图所示,cent7是我们上一章操作完成后对应的CentOS7的VMware文件夹,node1.node2都是直接复制cent7文件夹再粘贴生成的: 启动 请参照<kubeadm搭建kub

发生情况:      由于在学习hadoop,所以想快速搭建一个集群出来.所以直接在windows操作系统上用VMware安装了CentOS操作系统,配置好hadoop开发环境后,采用克隆功能,直接克隆出两个另外的虚拟机.      可是当我用ifconfig命令修改修改虚拟机ip地址的时候,告诉我eth0找不到.直接修改配置文件/etc/sysconfig/network-scripts/ifcfg-eth0,重启系统后,也没用.      用ifconfig查看才发现,没有eth0,只有et