一,规划三台zk服务器构成集群 ip:172.18.1.1 机器名:zk1 对应myid: 1 ip:172.18.1.2 机器名:zk2 对应myid: 2 ip:172.18.1.3 机器名:zk3 对应myid: 3 说明:为什么zookeeper集群的数量需要是单数? 1,为了容错,增删改操作中需要半数以上服务器通过才算成功, 2,防脑裂,一个zookeeper集群中,必需有且只能有一台leader服务器 当leader服务器宕机时,剩下的服务器会通过半数以上投票选出一个新的leader

centos 搭建集群步骤 1.使用yum安装所需要的工具 yum -y install wget vim tcl gcc make 2.下载redis并解压 cd /usr/local wget http://download.redis.io/releases/redis-3.2.8.tar.gz         (获取redis) tar -zxvf redis-3.2.8.tar.gz 3.编译安装redis源文件 cd redis-3.2.8 make    (若安装报错,可以改为这一

在centos中安装完第一个虚拟机后,一般习惯通过克隆的方式创建其它虚拟机,开后vmware无法发现网卡信息,系统认为这是重新安装,所以重新创建了一个新的网卡叫eth1. 并且用IFCONFIG-a查看网卡信息,只有lo信息,无法显示eth0了. 解决方法: 修改/etc/udev/rules.d 下的 70-persistent-net.rules文件,我们会发现下面两行: # PCI device 0x1022:0x2000(pcnet32) SUBSYSTEM=="net",DR

说明: 10.0.0.111部署6500,6501,6502三个主节点 10.0.0.222部署6500,6501,6502三个备份节点 1.安装redis:略 2.配置内核参数 # 配置 vm.overcommit_memory 为1,这可以避免数据被截断 sysctl -w vm.overcommit_memory=1 3.建文件夹 cd /usr/local/ mkdir redis-cluster cd redis-cluster mkdir 6500 6501 6502 cd /var

NTP时钟同步方式说明NTP在linux下有两种时钟同步方式,分别为直接同步和平滑同步: 直接同步 使用ntpdate命令进行同步,直接进行时间变更.如果服务器上存在一个12点运行的任务,当前服务器时间是13点,但标准时间时11点,使用此命令可能会造成任务重复执行.因此使用ntpdate同步可能会引发风险,因此该命令也多用于配置时钟同步服务时第一次同步时间时使用. 平滑同步 使用ntpd进行时钟同步,可以保证一个时间不经历两次,它每次同步时间的偏移量不会太陡,是慢慢来的,这正因为这样,ntpd平

1.在虚拟机中安装CentOS (1)使用CentOS-6.5-i386-minimal.iso.(2)创建虚拟机:打开Virtual Box,点击“新建”按钮,点击“下一步”,输入虚拟机名称为eshop-cache01,选择操作系统为Linux,选择版本为Red Hat,分配1024MB内存,后面的选项全部用默认,在Virtual Disk File location and size中,一定要自己选择一个目录来存放虚拟机文件,最后点击“create”按钮,开始创建虚拟机.(3)设置虚拟机网卡

一,准备工作 准备四台centos服务器,三台用于consul server 高可用集群,一台用于consul client作服务注册及健康检查.架构如下图所示 二,在四台服务器上安装consul 1,安装unzip 工具:yum install -y zip unzip 2,查看centos版本.uname -m,从https://www.consul.io/downloads.html获取下载地址 3,下载consul:wget https://releases.hashicorp.com/

一.集群Linux环境搭建 1. 注意事项 1.1 windows系统确认所有的关于VmWare的服务都已经启动 打开任务管理器->服务,查看五个VM选项是否打开. 1.2 确认好VmWare生成的网关地址 打开VMWare->编辑->虚拟网络编辑器->选择VMnet8->NAT设置->网关:192.168.253.2 1.3 确认VmNet8网卡已经配置好了IP地址和DNS 打开 设置->网络和Internet->更改适配器选项->VMnet8-&g

Redis 3.2.6集群搭建 Redis3.0版本之后支持Cluster. 1.1.redis cluster的现状 目前redis支持的cluster特性: 1):节点自动发现 2):slave->master 选举,集群容错 3):Hot resharding:在线分片 4):进群管理:cluster xxx 5):基于配置(nodes-port.conf)的集群管理 6):ASK 转向/MOVED 转向机制. 1.2.redis cluster 架构 1)redis-cluster架构图

SSH 为 Secure Shell 的缩写,由 IETF 的网络小组(Network Working Group)所制定:SSH 为建立在应用层和传输层基础上的安全协议.SSH 是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议. 在Hadoop集群或其他集群中广泛应用用,可用于机器之间免密码登录和执行脚本,如的Hadoop集群中NameNode启动的时候会远程执行脚本把集群中DataNode的也一起启动起来. 这里主要介绍SSH的配置和登录失败的情况 SSH配置 的集群中的每台主机

一.什么是 SolrCloud SolrCloud(solr 云)是 Solr 提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud.当一个系统的索引数据量少的时候是不需要使用 SolrCloud 的,当索引量很大,搜索请求并发很高,这时需要使用 SolrCloud 来满足这些需求. SolrCloud 是基于 Solr 和 Zookeeper 的分布式搜索方案,它的主要思想是使用 Zookeeper 作为集群的配置信息中心. 二.环境准备 1.java 1

目录 1.用户管理 1.1.切换用户 1.2.添加用户 1.3.删除用户 1.4.修改用户 2.群组管理 2.1.查看群组 2.2.添加群组 2.3.删除群组 2.4.修改群组 1.用户管理 Linux 系统中存在一个超级用户 root ,可以做任何操作. Linux 系统中每个用户都有自己独立的账户,有些命令运行需要切换 root 身份,用户是分组的. 1.1.切换用户 sudo 命令:以 root 身份执行这条命令. sudo so:切换 root 用户. su:切换 root 用户,家目录

Redis 简介 Redis 是完全开源免费的,是一个高性能的key-value数据库. Redis 与其他 key - value 缓存产品有以下三个特点: Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用. Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储. Redis支持数据的备份,即master-slave模式的数据备份. 性能极高 – Redis能读的速度是110000次/s

实验性操作是在虚拟机里进行的,除了搭建hadoop本身的操作之外,遇到的其它问题总结如下: 1. 虚拟机挂载windows磁盘: 添加硬件,要保证该硬件此时没有被读写访问等,因为挂载后,该磁盘在宿主机上就不能用了.启动虚拟机linux,执行 fdisk –l 查看windows磁盘的分区,如/dev/sdb2,然后执行挂载命令: mount /dev/sdb2 /mnt/win/ 然后就可以到/mnt/win目录下访问磁盘上的内容了 2. hadoop启动时如果报错,提示JAVA_HOME is

第四章 CentOS安全了解... 66 第一节 user.group.chmod. 66 I 10位文件属性... 66 II user/group增删改... 67 III user/group配置文件... 68 IV 进程权限... 70 第二节 visudo. 71 I 文件自带的示例... 71 II /etc/sudoers无法保护root密码... 71 III 示例... 71 IV Sudo -l #查看可用命令列表... 72 V root用户和sudo使用root权限的区

系统环境 CentOS 7 集群规划 在一台物理机(实际部署应当分散到多个物理机上),创建6个Redis节点,其中3个主节点.3个从节点. 节点表: IP 端口 主从 路径 192.168.1.21 7001 主 ~/redis-cluster/7001/ 192.168.1.21 7002 主 ~/redis-cluster/7002/ 192.168.1.21 7003 主 ~/redis-cluster/7003/ 192.168.1.21 7011 从 ~/redis-cluster/7

环境搭建-Hadoop集群搭建 写在前面,前面我们快速搭建好了centos的集群环境,接下来,我们就来开始hadoop的集群的搭建工作 实验环境 Hadoop版本:CDH 5.7.0 这里,我想说一下,我们我没有选择官方版本,是因为,cdh版本已经解决好了各个组件之间的依赖.因为,后面,我们还会使用更多hadoop家族里面的组件.cdh版本目前也是国内成产环境中使用最多的一个版本. 环境所需要的安装包我可以在我的百度云分享中获取到: 链接:http://pan.baidu.com/s/1c24g

centos PG集群搭建 一.安装PG 1.安装之前首先查看软件是否已经安装 rpm -qa | grep postgresql #若存在,需要卸载使用 yum remove postgresql 2.安装postgresql和postgresql-server 能够访问外网 # 获取源 sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-

要登陆 Linux 系统一定要有账号与口令才行,否则怎么登陆,您说是吧?不过, 不同的使用者应该要拥有不同的权限才行吧?我们还可以透过 user/group 的特殊权限配置, 来规范出不同的群组开发项目呢-在 Linux 的环境下,我们可以透过很多方式来限制用户能够使用的系统资源, 包括 十一章.bash 提到的 ulimit 限制.还有特殊权限限制,如 umask 等等. 透过这些举动,我们可以规范出不同使用者的使用资源.另外,还记得系统管理员的账号吗?对! 就是 root .请问一下,除了

上一节把Centos的集群免密码ssh登陆搭建完成,这一节主要讲一下Hadoop的环境搭建. Hadoop下载安装 下载官网的Hadoop 2.4.1的软件包.http://hadoop.apache.org/,或在百度网盘进行下载.链接: http://pan.baidu.com/s/1gePE9O3 密码: unmt 下载完以后将通过Xftp上传到服务器器上.我是放在/home/software目录下 [root@spark1 ~]# cd /home/software/ [root@spa

1. Linux 的账号与群组 1.1 使用者标识符: UID 与 GID 1.2 使用者账号:/etc/passwd 文件结构, /etc/shadow 文件结构 1.3 关于群组: /etc/group 文件结构, 有效与初始群组, groups, newgrp, /etc/gshadow2. 账号管理 2.1 新增与移除使用者: useradd, useradd 参考档, passwd, chage, usermod, userdel 2.2 用户功能:finger, chfn, chsh