本专栏的上一篇文章写了<长篇图解etcd核心应用场景及编码实战>,本文继续.后续计划章节内容如下: <长篇图解etcd核心应用场景及编码实战> <搭建高可用etcd集群> <基于etcd实现分布式锁(java代码实现)> <基于etcd实现配置变更通知(java代码实现)> <基于etcd实现服务注册与发现(java代码实现)> <基于etcd实现分布式系统节点leader选举(java代码实现)> 很多人知道etcd是因…
1.ssh免密登录 ssh ip地址 [root@192 ~]# ssh 192.168.1.102 root@192.168.1.102's password: Last login: Mon Feb 18 20:40:28 2019 from 192.168.1.101 免密登录配置 生成公钥和私钥 [root@192 ~]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to sa…
前置环境准备:centos7克隆ip|机器名|映射关系|别名配置(hadoop完全分布式准备一)scp命令copy文件和配置(hadoop完全分布式准备二) rsync远程同步工具 优点 rsync主要用于备份和镜像.具有速度快.避免复制相同内容和支持符号链接的优点.rsync和scp区别:用 rsync做文件的复制要比scp的速度快, rsync只对差异文件做更新.scp是把所有文件都复制过去. 基本语法 rsync -rvl $pdir/$fname $user(@hadoop$host:…
前一讲主要说了jenkins分发的好处<jenkins~集群分发功能和职责处理>,它可以让具体的节点干自己具体的事,比如windows环境下的节点,它只负责编译,发布windows的生态环境的项目:而linux节点主要负责和它相关的项目,如nodejs,.net core,java,php,python等等,你甚至可以做个mac节点,让它去编译打包你的IOS项目,听起来确实不错. 开始jenkins分发节点构建之旅 今天主要说的是建立分发节点的步骤,当然这也是大多人同学希望看到的文章,我们会以…
WAS集群服务的关闭与启动 欢迎转载,转载时请务必注明出处(http://blog.csdn.net/huangyanlong),否则作者保留追究版权法律责任. 表述有错误之处,请您留言或邮件(hyldba@163.com)指明,不胜感激. 原文链接:http://blog.csdn.net/huangyanlong/article/details/39158863 *****************************************************************…
kafka启动脚本和配置文件 # more kafka #!/bin/sh # Init script for kafka ### BEGIN INIT INFO # Provides: kafka # Default-Start: 2 3 4 5 # Default-Stop: 0 1 6 # Short-Description: # Description: Starts kafka as a daemon. ### END INIT INFO PATH=$PATH:/sbin:/usr/s…
Redis启动多端口,运行多实例 使用redis在同一台机器上,启用多个端口,实现多个实例,完成集群的模拟实现. 启动多实例 redis默认启动端口为6379,我们可以使用 --port 来指定多个端口,如下,在linux终端命令: redis-server & redis-server --port 6380 & redis-server --port 6381 & redis-server --port 6382 & 查看启动的redis实例: ps -ef | gre…
Hadoop集群-HDFS集群中大数据运维常用的命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客会简单涉及到滚动编辑,融合镜像文件,目录的空间配额等运维操作简介.话不多少,直接上命令便于以后查看.   一.查看hadf的帮助信息 [yinzhengjie@s101 ~]$ hdfs Usage: hdfs [--config confdir] [--loglevel loglevel] COMMAND where COMMAND is one of: dfs…
HDFS重启集群导致数据损坏,使用fsck命令修复过程 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 我们先看一组输出 [root@flume112 ~]# hdfs fsck /user/kuaikan/report_new//// Connecting to namenode via http://calculation111.aggrx:50070 FSCK started by root (auth:SIMPLE) from //// at Sat May :: CS…
1.Kafka集群部署 1.1集群部署的基本流程 下载安装包.解压安装包.修改配置文件.分发安装包.启动集群 1.2集群部署的基础环境准备 安装前的准备工作(zk集群已经部署完毕)  关闭防火墙 chkconfig iptables off && setenforce 0  创建用户 groupadd kafka && useradd kafka && usermod -a -G kafka kafka  创建工作目录并赋权 mkdir -p /hom…