1.集群管理 前台启动broker bin/kafka-server-start.sh <path>/server.properties Ctrl + C 关闭 后台启动broker bin/kafka-server-start.sh -daemon <path>/server.properties 关闭broker bin/kafka-server-stop.sh 2.Topic管理 创建topic bin/kafka-topics.sh --create --zookeeper…

Kafka运维大全来了!优化.监控.故障处理……   Kafka概念 Kafka是分布式发布-订阅消息系统.它最初由LinkedIn公司开发,之后成为Apache项目的一部分.Kafka是一个分布式的.可划分的.冗余备份的.持久性的日志服务.它主要用于处理活跃的流式数据.分布式系统,易于向外扩展.所有的producer.broker和consumer都会有多个,均为分布式的.无需停机即可扩展机器. Kafka设计方案 消息持久化及其缓存 磁盘性能:在传统的磁盘写入很慢,因为它使用随机写入50k/…

目录 本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 @ 1.free命令 free 命令能够显示系统中物理上的空闲和已用内存,还有交换内存,同时,也能显示被内核使用的缓冲和缓存 语法:free [param] param可以为: -b:以Byte为单位显示内存使用情况: -k:以KB为单位显示内存使用情…

前言 作为后端开发者,掌握一些常用的运维命令也是很有必要的,本文记录常用Liunx运维命令 基本命令 目录切换 cd base-admin/ 切换到当前目录下的base-admin目录 cd .. 切换到上一层目录 cd / 切换到系统根目录 cd ~ 切换到用户主目录 cd - 切换到上一个操作所在目录 目录操作 mkdir 目录名称 创建目录 ls或者ll(ll是ls -l的别名,ll命令可以看到该目录下的所有目录和文件的详细信息) 查看目录信息 find 目录 参数 寻找目录(查) 示例:…

linux上的操作一般是命令行操作,看起来很高大上,让人畏而远之. Help!Help! 忽然间闯入的linux黑黑的世界,怎么办,不要慌.赶紧敲出一个help命令,然后回车,黑色的窗口就会展示一些常用命令. 当然,更常用的是像ls --help这样来查看指令的详细语法.这里面的ls是list的缩写,意思是列出,很直白吧. 最重要的是列出的内容的语法.下面举个简单的栗子: 语法: rm [options] name ... 参数: -i 删除前逐一询问确认 -f 即使文档属性为只读,也无需询问,…

hadoop集群日常运维命令 #1.namenode hadoop namenode -format #格式化,慎用 su hdfs hadoop-daemon.sh start namenode hadoop-daemon.sh stop namenode #2.journalnode hadoop-daemon.sh start journalnode hadoop-daemon.sh stop journalnode #3.zkfc hdfs zkfc -formatZK #格式化,慎用…

Centos7日常需要用的运维命令 1.删除0字节文件 find-type f -size 0 -exec rm -rf {} \ 2.查看进程 按内存从大到小排列 ps -e   -o "%C   : %p : %z : %a"|sort -k5 -nr 3.按cpu利用率从大到小排列 ps -e   -o "%C   : %p : %z : %a"|sort   -nr 4.打印说cache里的URL grep -r-a   jpg /data/cache/*…

Linux运维命令总结(-)  此次整理linux运维常用命令13个,常用linux运维命令大概有150个,约占百分之十,大牛见笑,本人菜鸟一枚不才整理如下,如有不正确之处,请多多指正. 1.创建目录/data Make directory 创建目录的命令mkdir filename,例子如下: 创建单个目录 [root@oldboy ~]# mkdir /data 递归创建多个目录 [root@oldboy ~]# mkdir /data/oldboy/a/b 2.显示/data目录的信息,例…

常见运维命令作用: yum安装erlang的环境配置: ERLANG_HOME=/usr/lib64/erlang export PATH=$PATH:$ERLANG_HOME/bin 常见rabbitmq server命令: service rabbitmq-server start service rabbitmq-server stop service rabbitmq-server status service rabbitmq-server rotate-logs| service r…

DB2是IBM公司推出关系型数据库管理系统.主要应用于银行.医院等大型机构.现今DB2主要包含以下三个系列:DB2 for Linux, UNIX and Windows(LUW) . DB2在Linux下的安装依赖compat-libstdc++库,安装DB2之前需要先行安装该库.安装上述库完成后运行DB2安装程序中的db2setup启动图形化安装界面: DB2在安装过程中会创建db2inst1.db2fenc1以及dasusr1三个用户,此三个用户会加入到系统中成为系统的用户,也可以在安装之…

DG常见运维命令及常见问题解决方法 l> DG库启动.关闭标准操作Dataguard关闭1).先取消日志应用alter database recover managed standby database cancel;2).正常关闭DG库Shutdown immediate; Dataguard开启1).数据库先启动到nomount状态startup nomount;2).然后数据库在启动到standby mount状态alter database mount standby database;…

如何在Kafka上创建topic? 手工脚本创建 ./kafka-topics.sh –zookeeper 127.0.0.1:2181 –create –topic test.example –replication-factor 2 –partitions 12 -topic制定topic的name –partitions指定分区数,这个参数要根据broker数和数据量决定,一般情况下每个Broker上两个分区最好 –replication-factor指定partition的replica…

如果你是一位运维工程师,你很可能会面对几十台.几百台甚至上千台服务器,除了批量操作外,环境同步.数据同步也是必不可少的技能. 说到“同步”,不得不提的利器就是rsync,今天就来说说我从这个工具中看到的同步的艺术. [不带任何选项] 我们经常这样使用rsync: $ rsync main.c machineB:/home/userB1 只要目的端的文件内容和源端不一样,就会触发数据同步,rsync会确保两边的文件内容一样.2 但rsync不会同步文件的“modify time”,凡是有数据同步的…

前提: 只针对Kafka 0.9.0.1版本; 说是运维,其实偏重于问题解决; 大部分解决方案都是google而来, 我只是作了次搬运工; 有些问题的解决方案未必一定是通用的, 若应用到线上请慎重; 如有疏漏之处, 欢迎大家批评指正; 列表: Replica无法从leader同步消息 Broker到zk集群的连接不时会断开重断 Broker重启耗时很久 不允许脏主选举导致Broker被强制关闭 Replica从错误的Partition leader上去同步数据 __consumer_offset…

之前介绍了Docker管理工具-Swarm部署记录,这里简单总结下Docker Swarm的日常维护命令,以作为平时运维笔记. Swarm作为一个管理Docker集群的工具,首先需要将其部署起来,可以单独将Swarm部署于一个节点.另外,自然需要一个Docker集群,集群上每一个节点均安装有Docker.具体的Swarm架构图可以参照下图: Swarm架构中最主要的处理部分自然是Swarm节点,Swarm管理的对象自然是Docker Cluster,Docker Cluster由多个Docker…

自己的小网站跑在阿里云的ECS上面,偶尔也去分析分析自己网站服务器日志,看看网站的访问量.看看有没有黑阔搞破坏!于是收集,整理一些服务器日志分析命令,大家可以试试! 1.查看有多少个IP访问: awk '{print $1}' log_file|sort|uniq|wc -l PS: wc -l 看看有多少行 2.查看某一个页面被访问的次数: grep "/index.php" log_file | wc -l 3.查看每一个IP访问了多少个页面: awk '{++S[$1]} END…

tcpdump命令  tcpdump 命令是一款sniffer工具,它可以打印所有经过网络接口的数据包的头信息,也可以使用 -w 选项将数据包保存到文件中,方便以后分析. 常用参数: -a:尝试将网络和广播地址转换成名称: -c<数据包数目>:收到指定的数据包数目后,就停止进行倾倒操作: -d:把编译过的数据包编码转换成可阅读的格式,并倾倒到标准输出: -dd:把编译过的数据包编码转换成C语言的格式,并倾倒到标准输出: -ddd:把编译过的数据包编码转换成十进制数字的格式,并倾倒到标准输出:…

.什么是运维?什么是游戏运维? 1)运维是指大型组织已经建立好的网络软硬件的维护,就是要保证业务的上线与运作的正常, 在他运转的过程中,对他进行维护,他集合了网络.系统.数据库.开发.安全.监控于一身的技术 运维又包括很多种,有DBA运维.网站运维.虚拟化运维.监控运维.游戏运维等等 2)游戏运维又有分工,分为开发运维.应用运维(业务运维)和系统运维 开发运维:是给应用运维开发运维工具和运维平台的 应用运维:是给业务上线.维护和做故障排除的,用开发运维开发出来的工具给业务上线.维护.做故障排查…

转载自:https://www.jianshu.com/p/d2cbaae38014 前提: 只针对Kafka 0.9.0.1版本; 说是运维,其实偏重于问题解决; 大部分解决方案都是google而来, 我只是作了次搬运工; 有些问题的解决方案未必一定是通用的, 若应用到线上请慎重; 如有疏漏之处, 欢迎大家批评指正; 列表: Replica无法从leader同步消息 Broker到zk集群的连接不时会断开重断 Broker重启耗时很久 不允许脏主选举导致Broker被强制关闭 Replica从…

点击上方"开源Linux",选择"设为星标" 回复"学习"获取独家整理的学习资料! 一.oracle建库与删库命令 (1)oracle11g 建库(一般习惯配置gdbname与sid名一样,sys密码与system密码一样,以方便记忆) [oracledb@ ~]$ dbca -silent -createDatabase -templateName /u01/oracle/product/11.2.0/dbhome_1/assistants/d…

下面是测试验证环节 1. 创建一个 pool rbd create foo --size 4 --image-format 2 --image-feature layering 2. 挂载和格式化 rbd map foo sudo mkfs.ext4 -m0 /dev/rbd0 mkdir ~/foo mount /dev/rbd0 ~/foo   不错的文档:https://cloud.tencent.com/developer/article/1159507 “网红架构师”解决你的Ceph…

  Kafka概念   Kafka是分布式发布-订阅消息系统.它最初由LinkedIn公司开发,之后成为Apache项目的一部分.Kafka是一个分布式的.可划分的.冗余备份的.持久性的日志服务.它主要用于处理活跃的流式数据.分布式系统,易于向外扩展.所有的producer.broker和consumer都会有多个,均为分布式的.无需停机即可扩展机器.   Kafka设计方案   消息持久化及其缓存   磁盘性能:在传统的磁盘写入很慢,因为它使用随机写入50k/s(6个7200转的sata硬盘组…

列出所有topic:bin/kafka-topics.sh --zookeeper localhost:2181 --list说明:其实就是去检查zk上节点的/brokers/topics子节点,打印出来 创建topic:bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic order_ledger_check_complete_test --partitions 4 --replication-factor 3说明:线上…

释放内存:syncecho 3 > /proc/sys/vm/drop_caches Linux查看Dell服务器型号命令:dmidecode | grep "Product Name"  启动nginx,php/usr/local/webserver/php/sbin/php-fpm start/usr/local/webserver/nginx/sbin/nginx重启nginx/usr/local/webserver/nginx/sbin/nginx –s reload启动…

一,基本命令: 建表:create 'testtable','coulmn1','coulmn2' 也可以建表时加coulmn的属性如:create 'testtable',{NAME => 'coulmn1', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSIONS => '10', COMPRESSION => 'LZO', TTL => '30000', IN_MEMORY => 'false',…

查看3306端口被什么程序占用 [root@DB13 ~]# lsof -i : COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME mysqld mysql TCP *:mysql (LISTEN) mysqld mysql TCP (ESTABLISHED) mysqld mysql TCP (ESTABLISHED) mysqld mysql TCP 10.1.1.13:mysq 查看3306端口是被哪个服务使用着 [root@DB13 ~]# n…

一.集群 1.启动一个ceph进程 启动mon进程 [root@ceph-adm ~]#203.109 service ceph start mon.ceph-mon1 启动msd进程 [root@ceph-adm ~]#203.109 service ceph start mds.ceph-mds1 启动osd进程 [root@ceph-adm ~]#203.109 service ceph start osd.0 2.查看机器的监控状态 [root@ceph-adm ~]#203.109 c…

1.查看TCP连接状态 netstat -nat |awk '{print $6}'|sort|uniq -c|sort -rn netstat -n | awk '/^tcp/ {++S[$NF]};END {for(a in S) print a, S[a]}' netstat -n | awk '/^tcp/ {++state[$NF]}; END {for(key in state) print key,"\t",state[key]}' netstat -n | awk '/…

一.操作日志 首先附上kafka 操作日志配置文件:log4j.properties 根据相应的需要设置日志. #日志级别覆盖规则 优先级:ALL < DEBUG < INFO <WARN < ERROR < FATAL < OFF #1.子日志log4j.logger会覆盖主日志log4j.rootLogger,这里设置的是日志输出级别,Threshold设置appender的日志接收级别: #2.log4j.logger级别低于Threshold,appender接…

1. 查询redis里面的大key? 在redis实例上执行bgsave,然后我们对dump出来的rdb文件进行分析,找到其中的大KEY 有个不太推荐的命令,debug object xxx 可以看到这个key在内存中序列化后的大小,当然我们可以通过SCAN+debug object xxx 得到当前实例所有key的大小. redis-cli 原生自带 –bigkeys 功能,可以找到某个实例 5种数据类型(String.hash.list.set.zset)的最大key. 2.查询redis的…