1.安装 apt-get install nfs-common nfs-kernel-server 省略(sudo apt-get install portmap  --->install rpcbind  ) 2.mkdir /mnt/sda1/ 3.vim /etc/exports /mnt/sda1  *(rw,sync,no_subtree_check) /mnt/sda1  192.168.1.*(rw,sync,no_subtree_check) 4.启动sudo service r…

vim /etc/dhcpcd.conf 修改如下 interface eth0 static ip_address=192.168.1.177/24 static routers=192.168.1.1 static domain_name_servers=114.114.114.114…

百度高级架构师马如悦:我的Hadoop 2.0 http://www.csdn.net/article/2011-04-28/296869 腾讯大规模Hadoop集群实践 腾讯 hadoop 基线版本 CDH3U3 http://wenku.baidu.com/view/d8f9f2dbb8f67c1cfad6b843.html http://www.csdn.net/article/2014-02-19/2818473-Tencent-Hadoop 阿里 阿里Hadoop集群运维介绍 oper…

一. 简述 节点互信,是集群管理的基本操作之一.节点互信是通过SSH协议的公钥密钥认证来代替密码认证来实现的.对于单点批量管理多个节点,多个节点之间相互通信来说,配置SSH单方向信任,或者互信十分必要. 本篇博客基于<VMware workstation批量创建虚拟机和自动化安装操作系统>的基础上,创建了10台虚拟机node11-node20.实现控制台console01,单向信任,能够使用console01进行批量管理和操作:实现node11-node20之间相互信息,为后期集群服务的部署打…

说明: 本文参考 『 Kubernetes 权威指南 』 第一章的案例. 需要说明的是, 这本书里有很多描述的东西和实践的案例不吻合. Kubernets 集群架构 架构图 Server List 节点名称 节点 IP k8s-master 10.10.10.10 k8s-node1 10.10.10.11 k8s-node2 10.10.10.12 配置主机 hosts 需要说明的是, 这个不是必须的. 但是如果不配置主机 hosts, 后续配置 kubelet 参数KUBELET_API_S…

GreenPlum实践 ============================================== 目录: 一.安装环境准备 二.GP数据库安装 三.集群添加standby节点 四.master和standby相互切换 五.新增segment节点 六.非Mirror模式为Segment节点增加Mirror 七.Segment节点故障转移到Mirror并恢复segment 八.迁移(替换)segment节点 九.移除segment节点 十.常用SQL和数据导入导出 十一.GP集群…

[**前情提要**]由于项目需要,需要一个定时任务集群,故此有了这个spring-boot-starter-quartz集群的实践.springboot的版本为:2.1.6.RELEASE:quartz的版本为:2.3.1.假如这里一共有两个定时任务的节点,它们的代码完全一样. --- # 壹.jar包依赖 ~~~pom 1.8 org.springframework.boot spring-boot-starter org.springframework.boot spring-boot-st…

一,NFS服务器配置 01, 安装包查看 [root@standby2 ~]# rpm -qa|grep nfs nfs-utils-lib--.el6.x86_64 nfs4-acl-tools--.el6.x86_64 nfs-utils--.el6_10..x86_64 [root@standby2 ~]# rpm -qa | grep rpcbind rpcbind--.el6.x86_64 [root@standby2 ~]#我这里是安装好了 02,安装命令 yum -y instal…

概述 在上一篇中已经实践了 非高可用的bubernetes集群的实践 普通的k8s集群当work node 故障时是高可用的,但是master node故障时将会发生灾难,因为k8s api server不可用 会导致整个集群群龙无首 所以本篇将在上篇的基础上扩展高可用的k8s 集群 其原理是将所有node对master的api请求通过负载均衡(haproxy)指向虚拟ip(keepalived) 而此虚拟ip由所有master节点通过优先级选举 在上篇中我已经做好了k8s环境的基础虚拟机镜像文…

公众号关注「WeiyiGeek」 设为「特别关注」,每天带你玩转网络安全运维.应用开发.物联网IOT学习! 本章目录: 0x00 前言简述 0x01 环境准备 主机规划 软件版本 网络规划 0x02 安装部署 1.基础主机环境准备配置 2.负载均衡管理工具安装与内核加载 3.高可用HAproxy与Keepalived软件安装配置 4.配置部署etcd集群与etcd证书签发 5.Containerd 运行时安装部署 温馨提示: 由于实践篇幅太长,此处分为上下两节进行发布. 0x00 前言简述 描述…

TDW(Tencent distributed Data Warehouse,腾讯分布式数据仓库)基于开源软件Hadoop和Hive进行构建,打破了传统数据仓库不能线性扩展.可控性差的局限,并且根据腾讯数据量大.计算复杂等特定情况进行了大量优化和改造. TDW服务覆盖了腾讯绝大部分业务产品,单集群规模达到4400台,CPU总核数达到10万左右,存储容量达到100PB:每日作业数100多万,每日计算量4PB,作业并发数2000左右:实际存储数据量80PB,文件数和块数达到6亿多:存储利用率83%左…

TDW 是腾讯最大的离线数据处理平台.本文主要从需求.挑战.方案和未来计划等方面,介绍了TDW在建设单个大规模集群中采取的 JobTracker 分散化和 NameNode 高可用两个优化方案. TDW(Tencent distributed Data Warehouse,腾讯分布式数据仓库)基于开源软件 Hadoop 和 Hive 进行构建,打破了传统数据仓库不能线性扩展.可控性差的局限,并且根据腾讯数据量大.计算复杂等特定情况进行了大量优化和改造. TDW服务覆盖了腾讯绝大部分业务产品,单集…

在上一篇博客中,已经介绍了安装虚拟集群的过程和需要注意的细节问题. 这篇主要是介绍如何批量登陆远程主机和配置,这个过程中是在没有部署并行处理工具或者集群管理工具的前进行的. ------------首次登陆-------------- 首次登陆需要解决的问题就是: 1,信任远程主机公钥的问题,也就是key_word:yes/no? 2,然后就是远程主机的密码,key_word:password: 在自动化部署过程中,需要进行免交互和免密码登陆. 1,使用expect编写免交互登陆脚本(适用于te…

环境:centos 7 一.编译及安装redis源码 源码地址:redis版本发布列表 cd redis-3.2.8 sudo make && make install 二.创建节点 创建Redis-Cluster 文件夹,并创建7000-7005共6个文件夹 复制源码中的redis.conf文件并修改以下内容后分别放入7000-7005文件夹 [7000]示例 bind 192.168.1.105 port 7000 cluster-enabled yes cluster-config-…

MongoDB中集群有三种:主从复制.副本集.分片集群.目前副本集已经替代主从复制架构,成为官方建议采用的架构,而分片集群相较于前两种,更加复杂. 下面是生产环境中常用的分片集群架构: 我们知道,分片集群由三个组件构成: [分片]:官方建议采用副本集,提供数据冗余和高可用,主要存储业务数据. [配置服务器]:官方建议采用副本集,存储集群的元数据.很重要,能够影响集群的使用. [mongos instances]:是应用程序的接口,通过它,应用程序与整个集群是透明的,故一般每个应用服务器对应一个实…

1.环境规划,三台主机 10.213.14.51/24            10.213.14.52/24       10.213.14.53/24    集群网络 172.140.140.11.22      172.140.140.12/22    172.140.140.13/22  复制网络 centos7.3    ceph版本  luminous   12.2.4  ceph-deploy  2.0.0 2.ceph体系架构 3.ceph核心概念 Monitors: A Ceph…

之前体验了minikube,掉深坑里至今还没有爬出来,玩单节点用minikube够了, 但傻瓜试的安装让人对k8s理解不是很深刻(坑),而且多节点好像有什么奇怪的问题 所以我这次要用两个虚拟机来模拟k8s集群   一主节点一工作节点 hostname     ipaddr cpu 硬盘 内存 OS docker k8s m1 1921.168.1.200 2 20G  2G   centos7 18 1.16.2 w1 1921.168.1.201 2 20G  2G   centos7 18…

注:本文使用docker for windows模拟构建zookeeper集群,在linux系统下,可使用同样的docker命令构建 参考url:https://github.com/31z4/zookeeper-docker 1. 创建一个文件,名为:stack.yml,内容为: version: '3.1' services: zoo1: image: zookeeper restart: always hostname: zoo1 ports: - 2181:2181 environmen…

(1)实践的硬件环境准备 准备4台物理服务器或者4台VM虚拟机,其中两台用来做Keepalived服务器,两台做web测试站点 HOSTNAME I  P 解    释 lb01 10.0.0.7 Keepalived主服务器(Nginx主负载均衡器) lb02 10.0.0.8 Keepalived备服务器(Nginx备负载均衡器) web01 10.0.0.9 web01服务器 web02 10.0.0.10 web02服务器 (2)开始安装Keepalived软件 #yum install…

关注「WeiyiGeek」公众号 设为「特别关注」每天带你玩转网络安全运维.应用开发.物联网IOT学习! 希望各位看友[关注.点赞.评论.收藏.投币],助力每一个梦想. 文章目录: 0x00 前言简述 0x01 环境准备 主机规划 软件版本 网络规划 0x02 安装部署 1.准备基础主机环境配置 2.负载均衡管理ipvsadm工具安装与内核加载 3.高可用HAProxy与Keepalived软件安装配置 4.容器运行时containerd.io安装配置 5.安装源配置与初始化集群配置准备 6.使…

参考赵班长的unixhot以及马亮blog 笔者QQ:572891887 Linux架构交流群:471443208 1.1Mesos简介 Mesos是Apache下的开源分布式资源管理框架,它被称为分布式系统的内核.Mesos最初是由加州大学伯克利分校的AMPLab开发,后在Twitter得到广泛使用. Mesos-Master:主要负责管理各个framework和slave,并将slave上的资源分配给各个framework. Mesos-Slave:负责管理本节点上的各个mesos-task…

作者 | 姚捷(喽哥)阿里云容器平台集群管理高级技术专家 本文节选自<不一样的 双11 技术:阿里巴巴经济体云原生实践>一书,点击即可完成下载. 导读:值得阿里巴巴技术人骄傲的是 2019 年阿里巴巴 双11 核心系统 100% 以云原生的方式上云,完美支撑了 54.4w 峰值流量以及 2684 亿的成交量.背后承载海量交易的计算力就是来源于容器技术与神龙裸金属的完美融合. 集团上云机器资源形态 阿里巴巴 双11 采用三地五单元架构,除 2 个混部单元外,其他 3 个均是云单元.神龙机型经过…

点击下载<不一样的 双11 技术:阿里巴巴经济体云原生实践> 本文节选自<不一样的 双11 技术:阿里巴巴经济体云原生实践>一书,点击上方图片即可下载! 作者 | 汤志敏,阿里云容器服务高级技术专家 在 2019 年 双11 中,容器服务 ACK 支撑了阿里巴巴内部核心系统容器化和阿里云的云产品本身,也将阿里巴巴多年的大规模容器技术以产品化的能力输出给众多围绕 双11 的生态公司.通过支撑来自全球各行各业的容器云,容器服务沉淀了支持单元化全球化架构和柔性架构的云原生应用托管中台能力…

本文基本参考自 轻松实现Apache,Tomcat集群和负载均衡,经由实操经历记录而成,碰到些出入,以及个别地方依据个人的习惯,所以在一定程度上未能保持原文的完整性,还望原著者海涵. 因原文中有较多的贴图,如若各位读者一时不想亲自动手而直想看到配置效果,可查看原文. 一:软件环境 1. Apache: apache 2.0.55 (由http://httpd.apache.org/进入下载)(点击下载apache 2.0.55) 2. Tomcat: Tomcat 5.5.25 (由http:/…

http://fableking.iteye.com/blog/360870 TomcatApacheJSP应用服务器Web  本文基本参考自 轻松实现Apache,Tomcat集群和负载均衡,经由实操经历记录而成,碰到些出入,以及个别地方依据个人的习惯,所以在一定程度上未能保持原文的完整性,还望原著者海涵. 因原文中有较多的贴图,如若各位读者一时不想亲自动手而直想看到配置效果,可查看原文. 一:软件环境   1. Apache: apache 2.0.55 (由http://httpd.apa…

关闭集群 - 关闭集群所有组件 关闭Cloudera Management Service 关闭cdh所有客户端节点 sudo /opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-agent hard_stop_confirmed 使用stop不会停止pid相关的进程,会造成在客户端机器重启后再次启动cloudera-scm-agent出现异常,使用hard_stop_confirmed则不会造成异常. 关闭chd中服务端节点 sudo…

kong 集群将使得系统通过增加更多机器,从而实现水平扩展,承接更多的请求流量.它们将共享同样的配置且使用同一个数据库.kong 集群中的的所有节点都连接同一个数据库. 你需要在 kong 集群的上一层架设一个负载均衡的代理服务器,以便请求能够平均分散转发到 kong 的各个节点上. 目录 一.kong 集群能做什么和不能做什么 二.单节点 kong 集群 三.多节点 kong 集群 四.什么是缓存 五.如何配置数据库缓存  1.db_update_frequency 2.db_update_p…

采用快照方式 1.源集群采用NFS,注意权限 2.共享目录完成后,在所有ES服务器上挂载为同一目录 3.创建快照仓库 put _snapshot/my_backup{ "type": "fs", "settings": { "compress": true, "location": "/data/esback" }} 4.全部索引备份 get  _snapshot/my_backup/s…

  IP Hostname   192.168.1.23 k8s-etcd-01 etcd集群节点,默认关于ETCD所有操作均在此节点上操作 192.168.1.24 k8s-etcd-02 etcd集群节点 192.168.1.25 k8s-etcd-03 etcd集群节点 192.168.1.27 k8s-master-01 Work Master集群节点,默认关于k8s所有操作均在此节点上操作 192.168.1.28 k8s-master-02 Work Master集群节点 192.1…

转自:http://www.2cto.com/os/201605/510489.html hadoop1的核心组成是两部分,即HDFS和MapReduce.在hadoop2中变为HDFS和Yarn.新的HDFS中的NameNode不再是只有一个了,可以有多个(目前只支持2个).每一个都有相同的职能. 两个NameNode 当集群运行时,只有active状态的NameNode是正常工作的,standby状态的NameNode是处于待命状态的,时刻同步active状态NameNode的数据.一旦ac…