ceph集群的安装和配置教程

本篇主题: 1.怎样配置ssh免登陆访问 2.为什么搭建集群要关闭防火墙和selinux,如何关闭 3.从哪里获取ceph的安装包,怎样安装才是快速正确的 4.为什么要配置时间同步服务,怎样配置 5.怎样创建集群 6.怎样使用不同的方式增加osd(这里我总结了五种) 默认方式磁盘journal 目录配置方式 btrfs文件系统 disk+ssd方式 7.怎样配置文件系统 8.怎样配置块设备系统 9.怎样配置S3服务 10.如何干净的将集群清理到初始状态 (本篇基于centos7,其他系统除了安…

Dubbo入门到精通学习笔记（十四）：ActiveMQ集群的安装、配置、高可用测试，ActiveMQ高可用+负载均衡集群的安装、配置、高可用测试

文章目录 ActiveMQ 高可用集群安装.配置.高可用测试( ZooKeeper + LevelDB) ActiveMQ高可用+负载均衡集群的安装.配置.高可用测试准备正式开始 ActiveMQ 高可用集群安装.配置.高可用测试( ZooKeeper + LevelDB) (ZooKeeper + LevelDB) 从 ActiveMQ 5.9 开始,ActiveMQ 的集群实现方式取消了传统的 Master-Slave 方式,增加了基于 ZooKeeper + LevelDB 的 Mas…

ZooKeeper 集群的安装、配置---Dubbo 注册中心

ZooKeeper 集群的安装.配置.高可用测试 Dubbo 注册中心集群 Zookeeper-3.4.6 Dubbo 建议使用 Zookeeper 作为服务的注册中心. Zookeeper 集群中只要有过半的节点是正常的情况下,那么整个集群对外就是可用的.正是基于这个特性,要将 ZK 集群的节点数量要为奇数(2n+1:如 3.5.7 个节点)较为合适. 服务器 1:10.14.0.1 端口:2181.2881.3881 服务器 2:10.14.0.2 端口:2182.2882.3882…

Dubbo入门到精通学习笔记（十三）：ZooKeeper集群的安装、配置、高可用测试、升级、迁移

文章目录 ZooKeeper集群的安装.配置.高可用测试 ZooKeeper 与 Dubbo 服务集群架构图 1. 修改操作系统的/etc/hosts 文件,添加 IP 与主机名映射: 2. 下载或上传 zookeeper-3.4.6.tar.gz 到/home/wusc/zookeeper 目录: 3. 解压 zookeeper 安装包,并按节点号对 zookeeper 目录重命名: 4. 在各 zookeeper 节点目录下创建以下目录: 5. 将 zookeeper/node-0X/con…

PXC（Percona XtraDB Cluster）集群的安装与配置

Percona XtraDB Cluster是针对MySQL用户的高可用性和扩展性解决方案,基于Percona Server .其包括了Write Set REPlication补丁,使用Galera 2.0库,这是一个针对事务性应用程序的同步多主机复制插件. Percona XtraDB Cluster特点: (1)同步复制,事务在所有集群节点要么同时提交,要么不提交. (2)多主复制,可以在任意一个节点写入. (3)从服务器上的并行应用事件,真正的“并行复制”. (4)自动配置节点. (5)…

Hadoop-2.6.0 集群的安装与配置

1. 配置节点bonnie1 hadoop环境 (1) 下载hadoop- 2.6.0 并解压缩 [root@bonnie1 ~]# wget http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz -C /usr/local [root@bonnie1 ~]# cd /usr/local/ [root@bonnie1 local]# tar -xvf hadoop-2.6.0.tar (2) 配置环境变量…

【Spark】---- 在Linux集群上安装和配置Spark

1 安装JDK 1) 进入JDK官网 2) 下载JDK安装包 3)配置环境变量,在/etc/profile增加以下代码 JAVA_HOME=/home/hadoop/jdk1.6.0_38 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/jre/lib/dt.jar:$JAVA_HOME/jre/lib/tools.jar export JAVA_HOME PATH CLASSPATH 4)…

分布式架构高可用架构篇_01_zookeeper集群的安装、配置、高可用测试

参考: 龙果学院http://www.roncoo.com/share.html?hamc=hLPG8QsaaWVOl2Z76wpJHp3JBbZZF%2Bywm5vEfPp9LbLkAjAnB%2BnHpF8rHqMAsZ9U%2Ff1CcK%2Fi%2BOWuJ8pVcwcq6A%3D%3D Dubbo 建议使用 Zookeeper 作为服务的注册中心 Zookeeper 集群中只要有过半的节点是正常的情况下,那么整个集群对外就是可用的.正是基于这个特性,要将 ZK 集群的节点数量要为奇数…

Hadoop集群的安装与配置（centos 6.5）

一.Hadoop搭建准备(centOs6.5 且每个系统都要有同一个用户,如:hadoop) 1.IP的配置包括Master和Slaves的IP配置,之间能够相互ping通: 例如: 192.168.1.2 Master 192.168.1.3 Slave-1 192.168.1.4 Slave-2 192.168.1.5 Slave-3 其中每台机子配置IP的过程如下: vi /etc/sysco…

ZooKeeper集群的安装、配置、高可用测试

Dubbo注册中心集群Zookeeper-3.4.6 Dubbo建议使用Zookeeper作为服务的注册中心. Zookeeper集群中只要有过半的节点是正常的情况下,那么整个集群对外就是可用的.正是基于这个特性,要将ZK集群的节点数量要为奇数(2n+1:如3.5.7个节点)较为合适. ZooKeeper与Dubbo服务集群架构图服务器1:192.168.1.81 端口:2181.2881.3881 服务器2:192.168.1.82 端口:2182.2882.3882 服务器3:192.…

zookeeper集群的安装和配置

Zookeeper的目的是封装好复杂易出错的关键服务,将简单易用的接口和性能高效.功能稳定的系统提供给用户.Zookeeper有两种运行模式,单机模式(Standalone)和集群模式(Distributed),但是Zookeeper的长处在于可以搭建分布式的Zookeeper集群(一个Leader,多个Follower),从而可以保证集群的高可用性.高稳定性.高可靠性. 下面说明一下Zookeeper两种模式的配置: 在配置Zookeeper之前,下载Zookeeper的安装包:http://…

Mac 下,Redis(集群)的安装和配置

1. Redis 安装步骤 1. 到github下载redis,我下载的是3.0.4 下载地址:GitHub 2. 将下载下来的redis-3.0.4.tar.gz拷贝到 /usr/local 目录下首先,进入 redis-3.0.4.tar.gz 所在的目录下, 然后,执行拷贝命令: sudo cp redis-3.0.4.tar.gz /usr/local 3. 在 /usr/local文件夹下,解压该压缩文件 sudo tar -zxf redis-3.0.4.tar.gz 4. 进入解…

大数据高可用集群环境安装与配置（09）——安装Spark高可用集群

1. 获取spark下载链接登录官网:http://spark.apache.org/downloads.html 选择要下载的版本 2. 执行命令下载并安装 cd /usr/local/src/ wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz -bin-hadoop2..tgz -bin-hadoop2. /usr/local/spark cd /u…

大数据高可用集群环境安装与配置（07）——安装HBase高可用集群

1. 下载安装包登录官网获取HBase安装包下载地址 https://hbase.apache.org/downloads.html 2. 执行命令下载并安装 cd /usr/local/src/ wget http://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.1.8/hbase-2.1.8-bin.tar.gz -bin.tar.gz /usr/local/hbase/ 3. 修改服务器系统环境变量所有服务器都需要按要求修改配置 vi /et…

大数据高可用集群环境安装与配置（06）——安装Hadoop高可用集群

下载Hadoop安装包登录 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 镜像站,找到我们要安装的版本,点击进去复制下载链接安装Hadoop时要注意版本与后续安装的HBase.Spark等相关组件的兼容,不要安装了不匹配的版本,而导致某些组件需要重装输入命令进行安装操作 cd /usr/local/src/ wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/…

Flume-ng高可用集群负载安装与配置

1. 写在前面 flume-ng高可用长在大数据处理环节第一个出现,对于处理日志文件有很好的作用,本篇博客将详细介绍flume-ng的高可用负载均衡搭建 2. flume-ng高可用负载均衡描述在一般情况下,Flume-ng高可用采用server和client模式,server主要负责数据源source,client主要负责数据流向sink,client需要将server的信息统一管理,server和sink之间数据连接通过channels 3. 配置server,这里配置三个server f…

大数据高可用集群环境安装与配置（03）——设置SSH免密登录

Hadoop的NameNode需要启动集群中所有机器的Hadoop守护进程,这个过程需要通过SSH登录来实现 Hadoop并没有提供SSH输入密码登录的形式,因此,为了能够顺利登录每台机器,需要将所有机器配置为NameNode可以免密登录由于是双master,所以需要在master与master_backup服务器上都生成ssh密钥,都可以免密登录其他服务器生成SSH公钥和私钥在master与master_backup服务器输入命令 ssh-keygen -t rsa 按四次回车键,即可生…

Linux下Solr单机版、集群版安装与配置

一.安装 1.需要的安装包有apache-tomcat-7.0.47.tar.gz.solr-4.10.3.tgz.tgz(jdk自行安装) 这里默认大家已经安装好jdk与tomcat,所以在这里不做说明,jdk安装点击这里,tomcat直接解使用. 2.解压solr的安装包,把tar -zxvf solr-4.10.3.tgz.tgz解压 [root@localhost local]# tar -zxvf solr-4.10.3.tgz.tgz 3.进入solr-4.10.3/dist下把so…

Centos7.2 FastDFS_V5.05 集群的安装与配置1

环境: Centos 7.2/64位两台服务器都为tracker 和 storage 10.100.0.1 storage tracker10.100.0.2 storage tracker 1 和 2安装配置类似, 下面以一台为例 1, 安装依赖包,添加fastDFS运行用户 yum install -y zlib zlib-devel pcre pcre-devel gcc gcc-c++ openssl openssl-devel libevent libevent-devel…

零基础配置Hadoop集群——Ambari安装及配置详解

1. 准备工作 1.1. 系统环境主机列表: IP地址 HostName 描述 192.168.610.153 ambari.server Ambari服务器 192.168.10.152 hadoop.namenode Hadoop NameNode服务器 192.168.10.151 hadoop.datanodeone Hadoop DataNode服务器 192.168.10.147 hadoop.datanodetwo Hadoop DataNode服务器操作系统: CentO…

大数据高可用集群环境安装与配置（10）——安装Kafka高可用集群

1. 获取安装包下载链接访问https://kafka.apache.org/downloads 找到kafka对应版本需要与服务器安装的scala版本一致(运行spark-shell可以看到当前安装的scala版本) 2. 执行命令下载并安装 cd /usr/local/src/ wget https://www.apache.org/dyn/closer.cgi?path=/kafka/2.2.2/kafka_2.11-2.2.2.tgz -.tgz - /usr/local/kafka…

大数据高可用集群环境安装与配置（08）——安装Ganglia监控集群

1. 安装依赖包和软件在所有服务器上输入命令进行安装操作 yum install epel-release -y yum install ganglia-web ganglia-gmetad ganglia-gmond –y 2. 在master服务器上配置监控端 vi /etc/ganglia/gmetad.conf 修改下面内容 data_source master: master-backup: node1: node2: node3: case_sensitive_hostnames…

大数据高可用集群环境安装与配置（05）——安装zookeeper集群

1. 下载安装包登录官网下载安装包 https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/ 2. 执行命令下载并安装 cd /usr/local/src/ wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz .tar.gz /usr/local/zookeeper cd /usr/local/z…

大数据高可用集群环境安装与配置（04）——安装JAVA运行环境

Hadoop运行在java环境,所以在安装Hadoop之前,需要安装好jdk 提前下载好jdk安装包(jdk-8u161-linux-x64.tar.gz),将它上传到指定的安装目录当中,然后运行安装 cd /usr/local/src/ rz # 在弹出的窗口中,选择本地的jdk安装包上传到服务器 tar -zxvf jdk-8u161-linux-x64.tar.gz mkdir /usr/local/java/ .0_161 /usr/local/java/jdk/ 配置服务器环境变量 v…