使用kafka的bin目录下面的kafka-consumer-groups.sh命令可以查看offset消费情况,注意,如果你的offset是存在kafka集群上的,就指定kafka服务器的地址bootstrap-server: [root@QA-6-10 bin]# ./kafka-consumer-groups.sh --bootstrap-server 172.17.6.10:9092 --describe --group friend-group Note: This will only…

使用"free -hm"命令查看linux服务器的内存使用状况,其中-h表示人性化显示,-m表示将内存显示为M:…

…

在windows系统中,我们可以很容易的查看磁盘的使用情况,在linux系统中,我们可以使用命令来查看磁盘使用情况. 1.df命令 作用:用来查看硬盘的挂载点,以及对应的硬盘容量信息.包括硬盘的总大小,已经使用的大小,剩余大小.以及使用的空间占有的百分比等. 参数选项: -a:列出所有的文件系统,包括系统特有的/proc等文件系统 -k:以KB的容量显示各文件系统 -m:以MB的容量显示各文件系统 -h:以人们较易阅读的GB,MB,KB等格式自行显示 -H:以M=1000K替代M=1024K的进…

Centos查看端口占用情况和开启端口命令 Centos查看端口占用情况命令,比如查看80端口占用情况使用如下命令: lsof -i tcp:80 列出所有端口 netstat -ntlp mac上查看端口:lsof -i :5055netstat -anp tcp,这个查不到进程号.netstat -an lsof -ilsof -P lsof -n -P -i TCP -s TCP:LISTEN 1.开启端口(以80端口为例) 方法一: sudo iptables -I INPUT -p t…

1.  概述 数据层:结构化数据+非结构化数据+日志信息(大部分为结构化) 传输层:flume(采集日志--->存储性框架(如HDFS.kafka.Hive.Hbase))+sqoop(关系型数据性数据库里数据--->hadoop)+kafka(将实时日志在线--->sparkstream在数据进行实时处理分析) 存储层:HDFS+Hbase(非关系型数据库)+kafka(节点上默认存储1G数据) 资源调度层:Yarn 计算层:MapReduce+ Hive(计算+存储型框架:sql--…

一.Topic管理 1.创建topic kafka-topics.sh --zookeeper 47.52.199.52:2181 --create --topic test-15 --replication-factor --partitions 2.新增partition kafka-topics.sh --zookeeper zk.server --alter --topic test --replication-factor --partitions 注:topic一旦创建,partit…

from:http://www.jianshu.com/p/5aa8776868bb kafka系列之(3)——Coordinator与offset管理和Consumer Rebalance 时之结绳 关注 2017.05.11 23:04* 字数 1556 阅读 922评论 3喜欢 4 1.Consumer与Consumer Group consumer group是kafka提供的可扩展且具有容错性的消费者机制.组内可以有多个消费者或消费者实例(consumer instance),它们共享…

netstat/lsof netstat命令用于显示与IP.TCP.UDP和ICMP协议相关的统计数据,一般用于检验本机各端口的网络连接情况 -a 显示一个所有的有效连接信息列表(包括已建立的连接,也包括监听连接请求的那些连接) -n 显示所有已建立的有效连接 -t tcp协议 -u udp协议 -l 查询正在监听的程序 -p 显示正在使用socket的程序识别码和程序名称 例如:netstat -ntupl|grep processname 如何只查询tomcat的连接? netstat -n…

linux中tail命令---用于查看文件内容 最基本的是cat.more和less.1. 如果你只想看文件的前5行,可以使用head命令,如:head -5 /etc/passwd2. 如果你想查看文件的后10行,可以使用tail命令,如:tail -2 /etc/passwd 或 tail -n 2 /etc/passwdtail -f /var/log/messages参数-f使tail不停地去读最新的内容,这样有实时监视的效果 用Ctrl+c来终止!3. 查看文件中间一段,你可以使用se…

参考文档: https://blog.csdn.net/evankaka/article/details/52421314 http://orchome.com/6 1 启动zookeeper cmd进入zookeeper的bin目录,输入zkServer.cmd 2 启动kafka cmd进入kafka的安装目录 .\bin\windows\kafka-server-start.bat .\config\server.properties 创建主题, 1.进入Kafka安装目录D:\kafka…

Linux常用基础命令整理:关机命令.查看目录下文件命令等 整理了一些Linux常用基础命令,欢迎指正. 首先记住四个热键,学会这四个键,收益一辈子. Tab按键---命令补齐功能Ctrl+c按键---停掉正在运行的程序Ctrl+d按键---相当于exit,退出Ctrl+l按键---清屏 1.关机命令:shutdown shutdown 参数说明: [-t] 在改变到其它runlevel之前,告诉init多久以后关机.[-r] 重启计算器.[-k] 并不真正关机,只是送警告信号给每位登录者[lo…

1.kafka-topics  主题 如:kafka-topics --create --zookeeper 10.0.4.142:2181/kafka --replication-factor 1 --partitions 1 --topic test   ---创建一个主题 #查看kafka主题帮助命令 kafka-topics --help --alter 改变分区的数量.副本分配./.主题的配置 --config <String: name=value> 重写配置 配置: cleanu…

Linux 下有很多实用工具可以让你在终端界面查看文本文件.其中一个就是 more. more 跟我之前另一篇文章里写到的工具 —— less 很相似.它们之间的主要不同点在于 more 只允许你向前查看文件. 尽管它能提供的功能看起来很有限,不过它依旧有很多有用的特性值得你去了解.下面让我们来快速浏览一下 more 可以做什么,以及如何使用它吧. 基础使用 假设你现在想在终端查看一个文本文件.只需打开一个终端,进入对应的目录,然后输入以下命令: $ more <filename> 例如, $…

一.uptime命令,查看机器存活时间和平均负载 键入命令: uptime 该结果和 top命令查看结果最上面一行的 是一样的显示. 返回数据介绍: #当前服务器时间: 19:56:44 #当前服务器运行时长 up 22 days, 8:54 #当前用户数 10 users #当前的负载均衡 load average: 0.07, 0.11, 0.11,分别取最近1分钟,5分钟,15分钟的平均负载 二.查看平均负载和[正在运行进程数量/总进程数量] 键入命令: cat /proc/loadavg…

a)kafka搭建 1.解压 2.修改配置/software/kafka_2.11-0.11.0.3/config/server.properties broker.id=0 log.dirs=/var/huawei/kafka-logs zookeeper.connect=node03:2181,node04,2181:node05:2181 delete.topic.enable=true 3.配置kafka启动脚本 a)创建文件 /software/kafka_2.11-0.11.0.3/…

一.监控io性能 Linux系统出现了性能问题,一般我们可以通过top.iostat.free.vmstat等命令来查看初步定位问题.其中iostat可以给我们提供丰富的IO状态数据. iostat -x磁盘使用 iotop磁盘使用 rrqm/s:   每秒进行 merge 的读操作数目.即 delta(rmerge)/s wrqm/s:  每秒进行 merge 的写操作数目.即 delta(wmerge)/s r/s:           每秒完成的读 I/O 设备次数.即 delta(rio…

目录 一.系统环境 二.前言 三.kubectl 3.1 kubectl语法 3.2 kubectl格式化输出 四.kubectl常用命令 五.查看kubernetes集群node节点和pod负载 5.1 安装metric-server 5.2 查看node负载 5.3 查看pod负载 六.命名空间namespace的管理 6.1 何为命名空间namespace 6.2 管理命名空间namespace 6.2 使用kubens管理命名空间namespace 一.系统环境 服务器版本 docker…

转载博客:http://www.linuxidc.com/Linux/2011-06/37135.htm 在上图中,除了最后一个红色的方框,其它方框都是adb shell下的命令. [1]在Android程序中,一般创建的数据库存放在 /data/data/[应用程序包名]/databases 的目录下. [2]cd 命令:文件夹跳转命令.ls 命令:查看某个文件夹下面有哪些文件. [3]使用 "sqlite3 [数据库名称] " 命令来对某数据库进行一系列的操作. [4]在经过第[3…

linux free命令查看内存使用情况 时间:2016-01-05 06:47:22来源:网络 导读:linux free命令查看内存使用情况,free命令输出结果的各选项的含义,以及free结果中buffer与cache的区别.   linux free命令查看内存使用情况 free命令查看内存使用: 复制代码代码如下: [root@prdmis-db /]# free            total       used       free     shared    buffers …

DOC命令:查看后台运行的activity: adb shell dumpsys activity running activity: 模拟器曾经运行过的 activity:…

stats查看memcached状态的基本命令,通过这个命令可以看到如下信息:STAT pid 22459                             进程IDSTAT uptime 1027046                        服务器运行秒数STAT time 1273043062                       服务器当前unix时间戳STAT version 1.4.4                         服务器版本STAT pointe…

可以通过 top 命令来查看 CPU 使用状况.运行 top 命令后,CPU 使用状态会以全屏的方式显示,并且会处在对话的模式 -- 用基于 top 的命令,可以控制显示方式等等.退出 top 的命令为 q (在 top 运行中敲 q 键一次).top详解如下:1.作用top命令用来显示执行中的程序进程,使用权限是所有用户.2.格式top [-] [d delay] [q] [c] [S] [s] [n]3.主要参数 d:指定更新的间隔,以秒计算.q:没有任何延迟的更新.如果使用者有超级用户,则…

一.top命令 top命令是一个功能十分强大的监控系统的工具,对于系统管理员而言尤其重要.但是,它的缺点是会消耗很多系统资源. 在系统维护的过程中,随时可能有需要查看 CPU 使用率,并根据相应信息分析系统状况的需要.在 CentOS 中,可以通过 top 命令来查看 CPU 使用状况.运行 top 命令后,CPU 使用状态会以全屏的方式显示,并且会处在对话的模式 -- 用基于 top 的命令,可以控制显示方式等等.退出 top 的命令为 q (在 top 运行中敲 q 键一次). 二.top输…

netstat -n|grep 80出现大量time_wait 在运行netstat -n|grep 80 | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'时发现有大量的time_wait,出现这种情况需要查看接口日志是否有阻塞现象,另也可以修改linux配置,来减少其time_wait值. 详情参考http://www.jb51.net/LINUXjishu/342462.html 服务器访问人数可以通过命令: netstat…

Centos查看端口占用情况命令,比如查看80端口占用情况使用如下命令: lsof -i tcp:80 列出所有端口 netstat -ntlp 1.开启端口(以80端口为例)方法一: /sbin/iptables -I INPUT -p tcp –dport 80 -j ACCEPT 写入修改 /etc/init.d/iptables save 保存修改 service iptables restart 重启防火墙,修改生效 方法二: vi /etc/sysconfig/iptables 打开…

Linux下可以使用ps命令来查看Oracle相关的进程 Oracle Listener 这个命令会列出Oracle Net Listener的进程 [oracle@ www.linuxidc.com ~]$ ps -ef | grep tnslsnr oracle    1999 29986  0 09:47 pts/2    00:00:00 grep tnslsnr oracle    3647     1  0 Jul03 ?        00:00:34 /u01/oracle/mc…

使用下面的命令查看端口占用情况: 比如查看3000端口的占用情况 netstat -ano|findstr 3000 运行后,结果如下: 可以看到进程号为9692的占用了该端口,使用下面的命令查看是哪个任务: tasklist|findstr 9692 使用下面的命令关闭进程: taskkill /f /pid 9692…

2.1.远程拷贝 (将/export/servers/hadoop上的文件拷贝到bigdate@192.168.1.1:/export/servers/ ) scp –r /export/servers/hadoop bigdate@192.168.1.1:/export/servers/ 2.2.查看端口 netstat –nltp查看端口号 2.3.vim常见快捷操作 一些有用的快捷键(在一般模式下使用): a  在光标后一位开始插入 A   在该行的最后插入 I   在该行的最前面插入 端…

1.说出 10 个 linux 常用的指令 1) ls 查看目录中的文件 2)cd /home 进入 '/ home' 目录:cd .. 返回上一级目录:cd ../.. 返回上两级目录 3)mkdir dir1 创建一个叫做 'dir1' 的目录 4)rmdir dir1 删除一个叫做 'dir1' 的目录 (只能删除空目录) 5)rm -f file1 删除一个叫做 'file1' 的文件',-f 参数,忽略不存在的文件,从不给出提示. 6)rm -rf /mulu 目录下面文件以及子目录下…