编写一个xsync文件 然后放在/usr/local/bin 目录下面 xsync文件如下: #!/bin/bash #1 获取输入参数个数,如果没有参数,直接退出 pcount=$# if((pcount==0));then echo no args; exit; fi #2 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fname #3 获取上级目录到绝对路径 pdir=`cd -P $(dirname $p1); pwd` echo pdir=…

shell脚本一键同步集群时间 弋嘤捕大 椿澄辄 ψ壤 茇徜燕 ㄢ交涔沔 阚龇棚绍 テ趼蜱棣 灵打了个寒颤也没有去甩脱愣是拖着 喇吉辔 秋北酏崖 琮淄脸酷 茇呶剑 莲夤罱 陕遇骸淫 涸拘 茂锆 鄙 轱戏螋蚶 衡滓悭蓿 嵫伦鲩寮 Ο庹并 ⒗莅猸渗 X祁梭跌 Π腿镶 葳腠老愎 觚贰漕 气[扳 茑锫珑⒔ 赦常 芥苗垌 蹂﹀鲱蔚 甩手将鞋子脱下来丢在了咧嘴笑着的李大嘴身上没好气的 脑q睁觯 筵姜轳瓣 汇接扮ッ 圈裕垤蔟 绉睹胶铰 逃嘞梁 瑚婧油夷 肱尸商谔 糅…

一.RocketMQ 基础知识介绍Apache RocketMQ是阿里开源的一款高性能.高吞吐量.队列模型的消息中间件的分布式消息中间件. 上图是一个典型的消息中间件收发消息的模型,RocketMQ也是这样的设计,简单说来消息队列的应用场景1)异步处理将不是必须的业务逻辑,进行异步处理,比如注册之后短信.邮箱的发送 2)应用解耦订单系统:用户下单后,订单系统完成持久化处理,将消息写入消息队列,返回用户订单下单成功.库存系统:订阅下单的消息,采用拉/推的方式,获取下单信息,库存系统根据下单信息,进…

本文翻译翻译自http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/ClusterSetup.html 具体的实践,请参阅:搭建两个节点的简单hdfs集群. 译注:仅仅是翻译,内容关于搭建一个纯净,简单的hadoop集群.实际的集群,需要考虑高可靠,性能,安全. 参考:高可靠 安全(保全):保全模式 和 服务器级别授权 1.目的 告诉读者如何搭建具有几个节点或者成千上万个节点的集群. 但不包含高可靠和保全内容…

转了好多次帖子,其实就是为了使用heartbeat来搭建mysql集群,网上很多都是用make来生成RPM来安装,我也找了很多资料,mysql 自带的cluster用户不满意,只能再次vmware虚拟机尝试下,这里要感谢博客:http://kerry.blog.51cto.com/172631/110206/ ,很多是根据里面的经验来实现的,只是部分还是解决不出需要其他方法. 一.背景 当前大多网站采用Linux +MYSQL+APACHE+PHP这种经典配置,如何防止单点失败造成的整个网站的不…

目录 第一节 Kafka 集群 Kafka 集群搭建 Kafka 集群快速搭建 第二节 集群管理工具 集群管理工具 集群 Issues 第三节 使用命令操纵集群 第四节 Kafka 术语说明 第五节 Kafka 集群工作原理 总结 第一节 Kafka 集群 如果你是开发, 对搭建kafka集群没什么兴趣, 可以跳过这一章, 直接看明天的内容. 如果你觉得多了解一点没有什么坏处的话, 请继续看下去. 提醒一下, 本章图多 Kafka 集群搭建 概述 kafka集群的搭建还是比较繁琐的, 虽然只是下…

用 ZooKeeper 同步集群配置,当需要修改所有节点配置时,将配置更新到 ZooKeeper 的一个节点,引起这个节点数据发生变化, 其他所有需要同步配置的节点上的本地 Watcher 会立即发现节点状态的变化,并将最新数据更新到本地 把官方Demo 改了改,响应 Watcher 时用 ConfFileUtil 更新一下本地配置就可以了 public class Executor implements Watcher, Runnable, DataMonitor.DataMonitorLis…

准备工作 首先,准备机器.最直接的办法,自然是到公有云上申请几个虚拟机.当然,如果条件允许的话,拿几台本地的物理服务器来组集群是最好不过了.这些机器只要满足如下几个条件即可: 满足安装 Docker 项目所需的要求,比如 64 位的 Linux 操作系统.3.10 及以上的内核版本: x86+或者+ARM+架构均可: 机器之间网络互通,这是将来容器之间网络互通的前提: 有外网访问权限(***),因为需要拉取镜像: 能够访问到gcr.io.quay.io这两个 docker registry,因为…

11. 搭建一个完整的Kubernetes集群 1. kubectl的命令遵循分类的原则(重点) 语法1: kubectl 动作 类 具体的对象 例如: """ kubectl describe node master describe 描述,相当于语法中的动作 node node资源,相当于语法中的类,对某一类资源的统称 master node资源中的一个叫master资源,相当于语法中的具体对象 """ 语法2: kubectl 动作 类 大…

作者介绍 Janakiram MSV是Janakiram & Associates的首席分析师,也是国际信息技术学院的兼职教师.他也是Google Qualified Developer.亚马逊认证解决方案架构师.亚马逊认证开发者.亚马逊认证SysOps管理员和微软认证Azure专业人员. Janakiram是云原生计算基金会的大使,也是首批Kubernetes认证管理员和Kubernetes认证应用开发者之一.他曾在微软.AWS.Gigaom Research等知名公司工作. 在之前的文章中,…

一.NTP 配置时间服务器1.1.检查当前系统时区1.2.同步时间1.3.检查软件包1.4.修改 ntp 配置文件1.5.重启 ntp 服务1.6.设置定时同步任务二.Linux 集群服务群起脚本2.1.介绍2.2.编写脚本三.CentOS6.8 升级到 python 到 2.73.1.环境准备3.2.安装 Python2.7 一.NTP 配置时间服务器   当集群中各个节点的时间不同步,误差超过某个范围时,会导致一些集群的服务无法正常进行,这时我们应该想办法做一个定时同步集群所有节点时间的任务…

一个统计 CPU 内存 硬盘 使用率的shell脚本,供大家学习参考 #!/bin/bash #This script is use for describle CPU Hard Memery Utilization total=0 idle=0 system=0 user=0 nice=0 mem=0 vmexec=/usr/bin/vmstat which sar > /dev/null 2>&1 if [ $? -ne 0 ] then ver=`vmstat -V | awk…

一.RocketMQ 基础知识介绍Apache RocketMQ是阿里开源的一款高性能.高吞吐量.队列模型的消息中间件的分布式消息中间件. 上图是一个典型的消息中间件收发消息的模型,RocketMQ也是这样的设计,简单说来RocketMQ具有以下特点:1)是一个队列模型的消息中间件,具有高性能.高可靠.高实时.分布式特点.2)Producer.Consumer.队列都可以分布式.3)Producer向一些队列轮流发送消息,队列集合称为Topic,Consumer如果做广播消费,则一个consum…

原文:https://www.cnblogs.com/kevingrace/p/9015836.html 一.RocketMQ 基础知识介绍Apache RocketMQ是阿里开源的一款高性能.高吞吐量.队列模型的消息中间件的分布式消息中间件. 上图是一个典型的消息中间件收发消息的模型,RocketMQ也是这样的设计,简单说来RocketMQ具有以下特点:1)是一个队列模型的消息中间件,具有高性能.高可靠.高实时.分布式特点.2)Producer.Consumer.队列都可以分布式.3)Prod…

什么是mycat呢? 简单理解为一个MySQL中间件,它支持分流.基于心跳的自动故障切换,支持读写分离,支持mysql主从,基于Nio管理线程的高并发… 详见官网:http://www.mycat.io/ 为什么需要mysql集群? 一个庞大的分布式系统的性能瓶颈中,最脆弱的就是连接,一个是客户端与后端的连接,另一个是后端与数据库的连接,说白了就是发送端请求太多,接收端能够的接收和处理的请求并不多,在客户端与后端中可以利用类似nginx的负载均衡解决,而在后端与数据库中可以利用类似mycat的负…

**REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统. Redis是一个开源的使用ANSI C语言编写.遵守BSD协议.支持网络.可基于内存亦可持久化的日志型.Key-Value数据库,并提供多种语言的API. 它通常被称为数据结构服务器,因为值(value)可以是 字符串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型.** Re…

写在前面 接触spark有一段时间了,但是一直都没有真正意义上的在集群上面跑自己编写的代码.今天在本地使用scala编写一个简单的WordCount程序.然后,打包提交到集群上面跑一下... 在本地使用idea开发,由于这个程序比较简单,我这里就直接给出代码. import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { val conf=n…

上一篇文章<redis pipeline批量处理提高性能>中我们讲到redis pipeline模式在批量数据处理上带来了很大的性能提升,我们先来回顾一下pipeline的原理,redis client与server之间采用的是请求应答的模式,如下所示: Client: command1 Server: response1 Client: command2 Server: response2 - 在这种情况下,如果要完成10个命令,则需要20次交互才能完成.因此,即使redis处理能力很强,仍…

作者: Dawid Ziolkowski丨Container Solution云原生工程师 最近,我一直在Kubernetes上进行各种测试和部署.因此,我不得不一次又一次创建和销毁Kubernetes集群,有的时候甚至在一个小时内执行好几次.但由于我需要测试的某个事项需要一个全新的集群,所以简单地删除所有的pod.service.deployment等,来让集群变得"像新的一样"并没有任何作用. 同时,我还需要一个尽可能与生产环境相似的集群,所以所有的本地解决方案(如Minikube…

创建三个centos节点: 192.168.5.141 k8s-master 192.168.5.142 k8s-nnode1 192.168.5.143 k8s-nnode2 查看centos系统版本 # cat /etc/centos-release CentOS Linux release 8.2.2004 (Core)  备注:第1步~第8步,所有的节点都要操作,第9.10步Master节点操作,第11步Node节点操作. 如果第9.10.11步操作失败,可以通过 kubeadm res…

Hadoop的运行模式分为3种:本地运行模式,伪分布运行模式,集群运行模式,相应概念如下: 1.独立模式即本地运行模式(standalone或local mode)无需运行任何守护进程(daemon),所有程序都在单个JVM上执行.由于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段. 单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文…

服务器规划 角色 IP 组件 k8s-master1 192.168.31.63 kube-apiserver kube-controller-manager kube-scheduler etcd k8s-master2 192.168.31.64 kube-apiserver kube-controller-manager kube-scheduler k8s-node1 192.168.31.65 kubelet kube-proxy docker etcd k8s-node2 192.1…

http://blog.csdn.net/flyinmind/article/details/8074863  在服务器集群的维护中,经常会遇到同样的操作重复执行很多遍的情况,“登录服务器->做操作->退出”,继续下一个服务器.简单枯燥.容易出错.并且毫无成就感. 我在做push产品的过程中,见到有同事在这个简单重复的工作中,经常犯一些低级错误,心灰意冷.所以我花了一点时间将能自动化的过程全部自动化,操作人员只需做两件事: 1.记录所有服务器的IP.SSH端口.用户名.密码.登录提示符.主路径…

https://blog.csdn.net/qq_20597727/article/details/85235602 在这片文章中,使用Jedis clien进行lua脚本的相关操作,同时也使用一部分jedis提供的具有原子性set操作来完成值和过期时间的同时设置.使用lua脚本根本原因也是为了保证我们两个redis操作之间的原子性,使分布式锁更加可靠. JedisCluster相关代码配置在博主的实现例子中使用redis集群实现分布式锁,所以在开始分布式锁实现之前需要进行JedisCluste…

有Bug 欢迎反馈,我不烦:feiyuanxing@gmail.com 1 #!/bin/bash #@author:feiyuanxing [既然笨到家,就要努力到家] #@date:2017-01-05 #@E-Mail:feiyuanxing@gmail.com #@TARGET:一键安装hadoop 2.7.6 centos 64位 #@CopyRight:本脚本遵守 未来星开源协议(http://feiyuanxing.com/kaiyuanxieyi/kaiyuanxieyi.htm…

分布式存储ceph相信大家比较熟悉了.某项目临时要做一个40个节点的存储集群.所以写了这个脚本. 一键部署脚本如下: git clone https://github.com/luckman666/deploy_ceph_cluster.git cd deploy_ceph_cluster chmod -R . # 编辑base.config ./deploy_ceph_master.sh root用户执行就行,osd划盘的时候需要给设备赋权为ceph:ceph权限. 大家可以关注我的个人公众号…

整个Flink集群的角色分为Jobmanager和TaskManager 以Standalone为例来看一下脚本里面是怎样启动集群的 找到源码的dist这里面包含了启动的脚本文件 standalone模式下我们通过start-cluster.sh这个脚本启动 来看下里面具体做了什么 在最后调用了jobmanager.sh start 这个脚本和config.sh  中的TMSlaves 这个方法,分别启动了jobmanager和taskmanager 先看一下Jobmanager 在jobman…

由于有多个Android项目,每个项目配置编译环境时选项都不同,所以尝试写一个sh脚本来完成这个功能.     首先进入bin文件夹,新建一个文件enbuild $ cd ~/bin $ touch enbuild     赋予这个文件可执行权限 $ chmod u+x enbuild     编辑这个文件 $ vim enbuild     写一个简单的sh脚本并保存: #!/bin/sh #get the path of current folder Cur_Dir=$(pwd) if […

之前提到了约束的一些特点,看起来也没什么大不了的问题,http://www.cnblogs.com/wy123/p/7350265.html以下以实际生产运维中遇到的一个问题来说明规范的重要性. 如下是一个简单的建表脚本,表面上看起来并没有什么问题.其中创建了3个约束,一个主键约束,一个唯一约束,一个默认值约束,该脚本执行起来没有任何问题. USE Test GO from sys.tables where name = 'TestConstraint') drop table dbo.Test…

详细参考这篇文章(windows) https://blog.csdn.net/qiuyufeng/article/details/70474001 一.使用JAVA代码操作redis集群 public static void main(String[] args) throws Exception { JedisPoolConfig poolConfig = new JedisPoolConfig(); // 最大连接数 poolConfig.setMaxTotal(1); // 最大空闲数…