#!/bin/bash # author: xirong # date : -- ##### 搭建 flume 集群的脚本 # 注意: # . 需要 jdk7 环境,如果没有 Java 环境,请配置 # . 有 /home/work 目录,否则无法安装 # #### # 压缩文件解压 tar -zxf apache-flume--bin.tar.gz -C /home/work/flume_cluster/ # 配置flume环境 echo '## flume configuration ' >…

在flume搭建集群模式时,首先需要进入conf目录, 1.cp flume-env.sh.template flume-env.sh 2.cp flume-conf.properties.template flume-telent.conf 然后vi flume-env.sh ,添加本机的java_home 3.分别将两台主机一台担任采集(shizhan01),一台担任客户端读取(shizhan02) 采集端的配置 输出端的配置 4.接下来需要首先启动输出端(shizhan02), ./bin…

1.ssh免密登录 ssh ip地址 [root@192 ~]# ssh 192.168.1.102 root@192.168.1.102's password: Last login: Mon Feb 18 20:40:28 2019 from 192.168.1.101 免密登录配置 生成公钥和私钥 [root@192 ~]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to sa…

启动hadoop Ha集群是,每次都要手动启动每个zk节点,实在是太麻烦了.于是乎自己写了个脚本startAllZK.sh: 需要启动的节点,先在 NODENAME_ARR 数组中配置好,zkServer.sh的路径改一下 #!/bin/bash NODENAME_ARR=('node1' 'node2' 'node3') echo '' >zk.log ]; then echo -e "请带参数执行脚本.如:\n sh startAllZK.sh start \n sh startAll…

定义脚本boot.sh启动zookeeper集群(hadoop1,hadoop2,hadoop3) #!/bin/bash echo "start zkServer..." do ssh hadoop$i "source /etc/profile;/usr/local/zookeeper/bin/zkServer.sh start" done…

SYNOPSIS pg_dumpall [ option...] DESCRIPTION 描述 pg_dumpall 是一个用于写出("转储")一个数据库集群里的所有 PostgreSQL 数据库到一个脚本文件的工具. 该脚本文件包含可以用于作为 psql(1) 的输入恢复数据库的SQL命令. 它通过对数据库集群里的每个数据库调用 pg_dump(1) 实现这个功能. pg_dumpall 还转储出所有数据库公用的全局对象. (pg_dump(1) 并不保存这些对象.) 这些信息目前包…

1. 基础环境 操作系统版本  CentOS Linux release 7.6.1810 (Core) Docker 版本  19.03.11, build 42e35e61f3 Redis  版本  3.2.3-alpine 2. 效果展示 3. 脚本参数解释 cmd                    定义redis容器启动命令sentinel_cmd            定义sentinel容器启动命令image                容器启动镜像redis_conf    …

基础环境 操作系统版本  CentOS Linux release 7.6.1810 (Core) Docker 版本  19.03.11, build 42e35e61f3 Redis  版本  3.2.3-alpine 网络配置使用docker macvlan ,创建命令如下: docker network create -d macvlan --subnet=10.10.10.0/24 --gateway=10.10.10.1 -o parent=eth0 macnet 脚本内容如下: 参…

sparkR默认是以单机方式运行的.实现sparkR的集群启动,需要指定master地址,占用内存.CPU,及UI端口等,这对分析人员来说是比较麻烦的. 如何实现对其启动的封装,方便分析人员来使用: vi bdcmagicR #!/bin/bash function rand(){ min=$1 max=$(($2-$min+1)) num=$(($RANDOM+1000000000)) #增加一个10位的数再求余 echo $(($num%$max+$min)) } rnd=$(rand 40…

Kubernetes是什么? 首先,它是一个全新的基于容器技术的分布式架构领先方案.这个方案尽然很新,但它是谷歌十几年以来大规模应用容器技术的经验积累和升华的一个重要成果.确切地说,kubernetes是谷歌严格保密十几年的秘密武器Borg的一个开源版本.Borg是谷歌的一个久负盛名的内部使用的大规模集群管理系统,它基于容器技术,目的是实现资源管理的自动化,以及跨多个数据中心的资源利用率的最大化. 2015年4月,传闻许久的Borg论文伴随kubernetes(K8S)的高调宣传被谷歌首次公开,…

一.编写脚本 1 #!/bin/sh 2 # 安装 3 # ./run.sh etcd03 etcd01=http://192.168.2.44:2380,etcd02=http://192.168.2.45:2380,etcd03=http://192.168.2.46:2380 4 5 etcd --version 6 if [[ $? -eq 0 ]]; 7 then 8 echo 'etcd exists, exit!' 9 exit 10 else 11 yum -y install…

下载地址(以交由码云托管): https://gitee.com/gubin0412/Redis3.0.0 赋予脚本执行权限  chmod +x redis-gubin.sh 使用 ./redis-gubin.sh  开始执行脚本 脚本开始执行.. 接下来就是敲敲回车的事啦~ 结束: (我之所以下面报错 是因为我已经安装过了...这个ip已经占用了....你们不会出现这个问题)…

#!/bin/bash # Sync HBASE_HOME across the cluster. Must run on master using HBase owner user. HBASE_HOME=/usr/local/hbase/current for rs in `cat $HBASE_HOME/conf/regionservers` do echo "Deploying HBase to $rs:" rsync -avz --delete --exclude=logs…

#!/bin/bash # Show all running Java processes on region servers. Must run on master using HBase owner user. JAVA_HOME=/usr/local/jdk1.6 HBASE_HOME=/usr/local/hbase/current IFS=$'\n' printf "+------------------------------+----------+--------------- -…

最近公司业务数据量越来越大,以前的基于消息队列的日志系统越来越难以满足目前的业务量,表现为消息积压,日志延迟,日志存储日期过短,所以,我们开始着手要重新设计这块,业界已经有了比较成熟的流程,即基于流式处理,采用 flume 收集日志,发送到 kafka 队列做缓冲,storm 分布式实时框架进行消费处理,短期数据落地到 hbase.mongo中,长期数据进入 hadoop 中存储. 接下来打算将这其间所遇到的问题.学习到的知识记录整理下,作为备忘,作为分享,带给需要的人. 学习flume ng的…

.Flume NG简述 Flume NG是一个分布式,高可用,可靠的系统,它能将不同的海量数据收集,移动并存储到一个数据存储系统中.轻量,配置简单,适用于各种日志收集,并支持 Failover和负载均衡.并且它拥有非常丰富的组件.Flume NG采用的是三层架构:Agent层,Collector层和Store层,每一层均可水平拓展.其中Agent包含Source,Channel和 Sink,三者组建了一个Agent.三者的职责如下所示:•Source:用来消费(收集)数据源到Channel组件中…

1.概述 今天补充一篇关于Flume的博客,前面在讲解高可用的Hadoop平台的时候遗漏了这篇,本篇博客为大家讲述以下内容: Flume NG简述 单点Flume NG搭建.运行 高可用Flume NG搭建 Failover测试 截图预览 下面开始今天的博客介绍. 2.Flume NG简述 Flume NG是一个分布式,高可用,可靠的系统,它能将不同的海量数据收集,移动并存储到一个数据存储系统中.轻量,配置简单,适用于各种日志收集,并支持Failover和负载均衡.并且它拥有非常丰富的组件.Fl…

Flume NG集群+Kafka集群整合: 修改Flume配置文件(flume-kafka-server.conf),让Sink连上Kafka hadoop1: #set Agent name a1.sources = r1 a1.channels = c1 a1.sinks = k1 #set channel a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacit…

#安装redis伪集群脚本,先把redis-..gem及启动脚本放在/data1/redis-cluster目录下,然后执行该脚本即可 #!/bin/bash set -e #获取redis本机ip #ip=`hostname -I` ip=`. | awk '{print $2}'` workspace=/data1/redis-cluster #根据需求自定义 想在哪个目录安装就写哪个目录 if [ ! -d $workspace ];then mkdir -p $workspace fi…

0. 软件版本下载 http://mirror.bit.edu.cn/apache/flume/   1. 集群环境 Master 172.16.11.97 Slave1 172.16.11.98 Slave2 172.16.11.99   2. 下载软件包 #Master wget http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz tar zxvf apache-flume-1.6.0-bin.t…

https://blog.csdn.net/qq_20597727/article/details/85235602 在这片文章中,使用Jedis clien进行lua脚本的相关操作,同时也使用一部分jedis提供的具有原子性set操作来完成值和过期时间的同时设置.使用lua脚本根本原因也是为了保证我们两个redis操作之间的原子性,使分布式锁更加可靠. JedisCluster相关代码配置在博主的实现例子中使用redis集群实现分布式锁,所以在开始分布式锁实现之前需要进行JedisCluste…

目录 集群常用知识与常用脚本总结 集群启动/停止方式 1 各个模块分开启动/停止(常用) 2 各个服务组件逐一启动/停止 编写Hadoop集群常用脚本 1 Hadoop集群启停脚本myhadoop.sh 2 查看三台服务器Java进程脚本 jpsall 常用端口说明(面试题) 常用的配置文件(面试题) 集群常用知识与常用脚本总结 集群启动/停止方式 1 各个模块分开启动/停止(常用) 配置ssh是前提 整体启动/停止HDFS [ranan@hadoop102 hadoop-3.1.3]$ sbi…

  案例说明: KingbaseES V8R6部署一般可采用图形化方式快速部署,但在生产一线,有的服务器系统未启用图形化环境,所以对于KingbaseES V8R6的集群需采用手工字符界面方式部署,本次文档记录了在一线环境下的字符界面部署操作步骤.   1)本案例在通用机环境下完成. 2)需要首先安装KingbaseES R6 cluster版本的软件包. 3)本案例主要用于系统环境不能提供图形化部署或者图形化部署中出现故障时. 4)本案例在通用机环境完成,专用机环境可用于参考. 5)通用机环境…

Hadoop是一个由Apache基金会所开发的分布式基础架构,Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算,特点是:高可靠性,高扩展性,高效性,高容错性. Hadoop与Google三篇论文 Google-File-System :http://blog.bizcloudsoft.com/wp-content/uploads/Google-File-System%E4%B8%AD%E6%96%87%…

Ningx集群环境搭建 Nginx是什么? Nginx ("engine x") 是⼀个⾼性能的 HTTP 和 反向代理 服务器,也是⼀个 IMAP/ POP3/SMTP 代理服务器.⼀直纳闷这个X是怎么来的在⽹上查了查原来X代表很⽜逼的 样⼦,Nginx就是代表⼀个⾮常⽜逼的引擎服务器系统,在很多年以前记得都是⽤的 apache来作为分流以及负载均衡的作⽤,在过了⼏年中⼀个俄罗斯⼈又开发了⼀个性能 更⾼的服务器来处理客户端向浏览器发出的各种请求,它从技术⾓度解决了⼤数量⾼并 发的⽤户…

1.安装Linux 需要:3台CentOS7虚拟机 IP:192.168.245.130,192.168.245.131,192.168.245.132(类似,尽量保持连续,方便记忆) 注意: 3台虚拟机的网络设置为NAT模式,这样安装好后的3台虚拟机的IP是挨着的,不然还要修改IP,以达到便于配置集群的目的! NAT模式可以在断网的情况下连接上虚拟机而桥架模式不行! 2.安装JDK 参考我的博客:https://www.cnblogs.com/yszd/p/10140327.html 3.运行…

Hadoop组成 HDFS(Hadoop Distributed File System)架构概述 NameNode目录--主刀医生(nn):  DataNode(dn)数据: Secondary NameCode(2nn)助手: YARN框架  常驻 + 临时 ResourceManager(RM) 组长: NodeManager 组员: Client客户:Job Submission来任务了  ---->> ApplicationMaster,任务结束它就卸任了: ApplicationM…

最近公司业务数据量越来越大,以前的基于消息队列的日志系统越来越难以满足目前的业务量,表现为消息积压,日志延迟,日志存储日期过短,所以,我们开始着手要重新设计这块,业界已经有了比较成熟的流程,即基于流式处理,采用 flume 收集日志,发送到 kafka 队列做缓冲,storm 分布式实时框架进行消费处理,短期数据落地到 hbase.mongo中,长期数据进入 hadoop 中存储. 接下来打算将这其间所遇到的问题.学习到的知识记录整理下,作为备忘,作为分享,带给需要的人. 淘宝开源了许多产品组件…

搭建集群方案 安装部署任何一个应用其实都很简单,只要安装步骤一步一步来就行了.下面说一下 Redis 集群搭建规划,由于集群至少需要6个节点(3主3从模式),所以,没有这么多机器给我玩,我本地也起不了那么多虚拟机(电脑太烂),现在计划是在一台机器上模拟一个集群,当然,这和生产环境的集群搭  建没本质区别. 本博客计划集群,Redis 节点的端口号为 9001-9006 ,端口号即集群下各实例文件夹.数据存放在 端口号/data 文件夹中. 多主多备一共6台 先关闭防火墙 安装纯净版本的redis…

日常的项目很多时候都需要用到缓存.redis算是一个比较好的选择.一般情况下做一个主从就可以满足一些比较小的项目需要.在一些并发量比较大的项目可能就需要用到集群了,redis在Windows下做集群可能未必可取,就算是学习一下,今天就和大家分享一下在Windows下部署redis集群. 使用时候可以先了解redis cluster的原理http://www.cnblogs.com/foxmailed/p/3630875.html 一.环境 系统:Windows7 redis版本:2.8 ruby…