Ceph是一个分布式的存储系统,可以在统一的系统中提供唯一的对象.块和文件存储,Ceph的大致组件如下: 1. Ceph监视器(ceph-mon):用来维护集群状态的映射,包括监视器映射,管理器映射,OSD映射,MDS映射和CRUSH映射,这些映射是ceph守护程序相互协调所需的关键状态,另外还负责客户端到ceph存储的身份验证:通常要实现高可用,需要3个或以上的ceph-mon服务 2. Ceph管理器(ceph-mgr):ceph manager守护进程负责跟踪运行时指标和ceph集群当前的

第1章   CEPH部署 1.1  简单介绍 Ceph的部署模式下主要包含以下几个类型的节点 Ø CephOSDs: A Ceph OSD 进程主要用来存储数据,处理数据的replication,恢复,填充,调整资源组合以及通过检查其他OSD进程的心跳信息提供一些监控信息给Ceph Monitors . 当Ceph Storage Cluster 要准备2份数据备份时,要求至少有2个CephOSD进程的状态是active+clean状态 (Ceph 默认会提供两份数据备份). Ø Monitor

Ceph是一个分布式存储,可以提供对象存储.块存储和文件存储,其中对象存储和块存储可以很好地和各大云平台集成.一个Ceph集群中有Monitor节点.MDS节点(可选,用于文件存储).至少两个OSD守护进程.Ceph OSD:OSD守护进程,用于存储数据.处理数据拷贝.恢复.回滚.均衡,并通过心跳程序向Monitor提供部分监控信息.一个Ceph集群中至少需要两个OSD守护进程.Monitor:维护集群的状态映射信息,包括monitor.OSD.Placement Group(PG).还维护了M

准备工作 假设集群: 选一台作管理机 注意: ceph集群引用hostname,而非ip. 172.17.4.16 test16 #hostname必须是test16 172.17.4.17 test17 #hostname必须是test17 172.17.4.18 test18 #hostname必须是test18 172.17.4.19 test19 #hostname必须是test19, 选作管理机 172.17.4.20 test20 #hostname必须是test20 172.17.

首先在华为云上购买搭建ceph集群所需云主机: 然后购买ceph所需存储磁盘 将购买的磁盘挂载到用来搭建ceph的云主机上 在跳板机上安装ansible 查看ansible版本,检验ansible是否安装成功 配置主机分组 测试结果 书写playbook文件内容如下: --- #将yum文件同步到各个节点 - hosts: ceph remote_user: root tasks: - copy: src: /etc/yum.repos.d/ceph.repo dest: /etc/yum.re

一.服务器规划 主机名 主机IP 磁盘配比 角色 node1 public-ip:10.0.0.130cluster-ip:192.168.2.130 sda,sdb,sdcsda是系统盘,另外两块数据盘 ceph-deploy,monitor,mgr,osd node2 public-ip:10.0.0.131cluster-ip:192.168.2.131 sda,sdb,sdcsda是系统盘,另外两块数据盘 monitor,mgr,osd node3 public-ip:10.0.0.13

继续接上一章,已安装好Hadoop集群环境 http://www.cnblogs.com/dopeter/p/4612232.html 在此基础上继续安装Hbase集群 Hbase版本为1.0.1.1 一. 安装与配置Hbase 1. 解压 tar -zxvf hbase-1.0.1.1-bin.tar.gz-C /opt 2. 配置 cd /opt/hbase-1.0.1.1/conf vi hbase-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_45

之前安装大数据组件都是一个一个手动安装的,最多弄一个脚本自动安装.手动安装麻烦不说,还没有可以监控集群的可视化界面,而且组件的稳定性也是个问题. 所以我们应该试一试HDP和CDH这种企业级的hadoop技术栈. CDH用的人最多,我本来想安装一个社区版的CDH,可惜社区版的官网打开之后样式乱了,根本没法儿看.所以我选择了HDP.HDP是完全免费的,而且基本上跟apache的hadoop保持同步.HDP使用ambari来安装,ambari虽然功能相对弱了一些,不过我感觉基本够用了.可以安装各种服务

一.RabbiMQ简介 RabbiMQ是用Erang开发的,集群非常方便,因为Erlang天生就是一门分布式语言,但其本身并不支持负载均衡. RabbiMQ模式 RabbitMQ模式大概分为以下三种:(1)单一模式.(2)普通模式(默认的集群模式).(3) 镜像模式(把需要的队列做成镜像队列,存在于多个节点,属于RabbiMQ的HA方案,在对业务可靠性要求较高的场合中比较适用).要实现镜像模式,需要先搭建一个普通集群模式,在这个模式的基础上再配置镜像模式以实现高可用. RabbiMQ特点 Rab

实验环境 RabbitMQ 集群 server1.example.com    IP: 10.10.10.11    Node: diskserver2.example.com    IP: 10.10.10.12    Node: diskserver3.example.com    IP: 10.10.10.13    Node: disk RabbitMQ相关端口 (epmd), (Erlang distribution) , (AMQP -- without and with TLS)

Spark版本 1.6.0 Scala版本 2.11.7 Zookeeper版本 3.4.7 配置虚拟机 3台虚拟机,sm,sd1,sd2 1. 关闭防火墙 systemctl stop firewalld systemctl stop firewalld 如果不关闭防火墙,需要为防火墙添加进站出站规则,否则无法访问spark的管理页面 2. 修改机器名 hostnamectl set-hostname sm 其他2台机器同上 3. 修改host vim /etc/hosts 4. 配置ssh免

先按照上一篇安装与配置好CentOS以及zookeeper http://www.cnblogs.com/dopeter/p/4609276.html 本章介绍在CentOS搭建Hadoop集群环境 一. 安装Hadoop 1. 解压文件 tar -zxvf hadoop-2.7.0-x64.tar.gz -C /opt #解压Hadoop 2. 编辑全局变量 vi /etc/profile 增加以下全局变量 export HADOOP_HOME=/opt/hadoop-2.7.0export

1. 环境准备 JDK1.8 ZooKeeper集群(参见本人博文) Scala2.12(如果需要做scala开发的话,安装方法参见本人博文) 本次安装的kafka和zookeeper集群在同一套物理机器上, 192.168.1.101 192.168.1.102 192.168.1.103 2. 下载kafka 到kafka官网下载kafka,目前最新的版本是kafka_2.12-2.1.0.tgz,前面是scala版本号,后面是kafka版本号. wget http://mirror.bit

集群安装之后,hdfs 不能上传文件,也提示rute等错误,其实是防火墙问题,关闭防火墙即可． CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙.firewall:systemctl start firewalld.service#启动firewallsystemctl stop firewalld.service#停止firewallsystemctl disable firewalld.service#禁止firewall开机启动 其次是ssh 配置

以前经常用weblogic集群,但是却没有仔细想过要实现它.这不,前两天成功安装了weblogic集群,现在将其思路整理下.防止日后自己忘掉了. 一.安装weblogic10.3.6 1. 在官网下载需要的weblogic版本: 2. 安装(按照引导程序提示操作): ---->中间件主目录: ---->注册安全更新: ---->选择安装类型-->1.典型: ---->产品安装目录-->主目录: ---->将安装下列产品和JDK: ---->正在安装文件--&

1.准备4台服务器 linux1 192.168.56.101 linux2 192.168.56.102 linux3 192.168.56.103 linux4 192.168.56.104 2.下载并解压Consul文件,拷贝到/usr/local/bin目录下 [root@linux1 ~]# wget https://releases.hashicorp.com/consul/0.8.1/consul_0.8.1_linux_amd64.zip?_ga=2.37003621.45412

1. 集群架构 1.1 四种内部元数据 队列元数据.交换器元数据.绑定元数据.vhost元数据. 单一节点中:会将数据存储到内存,同时将持久化元数据保存到硬盘. 集群中: 存储到磁盘上.内存中. 集群中的队列:不是每一个rabbitmq节点都有所有队列的拷贝,集群只会在单个节点上创建完整信息. 1.2 .内存节点和磁盘节点 内存节点: 元数据定义都存储在内存中.内存节点有出色的性能. 磁盘节点: 元数据定义都存储在磁盘中(单节点服务器都是磁盘节点).磁盘节点能持久化信息. rabbitmq集群中

https://blog.csdn.net/lihongtai/article/details/82826809

data 创建myid  设置1 zookeeper默认端口2181  同步端口 20881 和 30881 设置zoo.cfg文件

ubuntu ceph安装以及使用 1.安装环境 本文主要根据官方文档使用ubuntu14.04安装ceph集群,并且简单熟悉其基本操作.整个集群包括一个admin节点(admin node,主机名为node0)和3个存储节点(主机名分别为node1,node2,node3),所有节点均安装ubuntu 14.04操作系统,除了admin节点,其余三个节点除了根磁盘,还额外配置一个磁盘作为单独的osd: lsblk 输出结果: NAME MAJ:MIN RM SIZE RO TYPE MOUNT

前文我们了解了Ceph的基础架构和相关组件的介绍,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16720234.html:今天我们来部署一个ceph集群: 部署工具介绍 1.ceph-deploy:该部署工具是ceph官方的部署工具,它只依赖SSH访问服务器,不需要额外的agent:它可以完全运行在自己的工作站上(比如admin host),不需要服务器,数据库类似的东西:该工具不是一个通用的部署工具,只针对ceph:相比ansible,puppet,功