kafka shutdown停止关闭很慢问题的解决方案

kafka shutdown停止很慢问题在数据量大的时候,consumer一次抓取数据的数据很多,进入到业务处理的数据可能有很多, 假设一次poll有1万条数据进入业务程序,而且业务程序是和poll绑定在一起线程同步执行的,假设平均每条数据,执行业务程序花费100ms, 那么poll一次的数据,至少要执行 1w*0.1s = 1000s = 16.67分钟. 所以,在数据量大的时候,停止一个线程(需要先等待业务程序处理完数据),可能要十几分钟. shutdown问题解决方案 1.改成异步处理数…

Tomcat使用shutdown.bat关闭会将其他Tomcat关掉的问题

Tomcat使用shutdown.bat关闭会将其他Tomcat关掉的问题 shutdown.bat文件有一句if not "%CATALINA_HOME%" == "" goto gotHome 执行关闭命令的时候,程序会根据CATALINA_HOME去查找,这句话的意思是如果环境变量配置的这个路径不为空,就执行这个,否则就“set CATALINA_HOME=%CURRENT_DIR%”,也就是将当前的路径赋值给它. 解决办法就是在if not "%C…

阿里云服务器tomcat ./shutdown.sh关闭命令报错Could not contact localhost:8005. Tomcat may not be running.

JDK1.8运行./shutdown 停止tomcat报错: 昨天购买了一个阿里云服务器,由于时间问题今天才来启动tomcat,启动的时候才发现跟我以前使用的服务器不太一样,去网上搜索了半天以为是tomcat内存太小,折腾了一上午,后来才发现是tomcat没有完全启动好 1.找到jdk地址依次是用 which java 然后 ls -lrt /usr/java/jdk/jdk1.8.0_181/bin/java 最终得到的结果前面部分才是jdk的路径 /usr/java/jdk/jdk1.8.…

windows 下 nginx 的启动停止关闭

停止 nginx -s stop 重新加载配置文件(改动了参数无需重启,只有执行重新加载即可)nginx -s reload 退出停止关闭nginx -s quit…

通过tomcat shutdown port关闭tomcat

在tomcat server.xml配置文件中,有个配置项 <Server port="8005" shutdown="SHUTDOWN"> 通过向8005端口发送 SHUTDOWN字符可以关闭tomcat 1. 启动tomcat 2. telnet到 8005 进入控制台:telnet localhost 8005, 输入SHUTDOWN即可关闭tomcat…

Linux系统Tomcat进程使用shutdown无法关闭进程

问题场景: 若在应用中启动了用户线程,在Linux系统Tomcat进程使用shutdown无法关闭进程. 解决方案: #1.在catalina.sh文件中添加CATALINA_PID [root@localhost pc1]# vi bin/catalina.sh # CATALINA_PID (Optional) Path of the file which should contains the pid # of the catalina startup java process, when…

mongodb因非法关闭导致无法启动的解决方案

mongodb因非法关闭导致无法启动的解决方案 1.删除数据库目录的.lock文件 2.输入命令 mongod --repair 3.重启…

shutdown彻底关闭tomcat，以及多线程关闭

最近做的一个Web项目,发现shutdown.sh后,无法关掉tomcat进程. ps -ef | grep tomcat 返回tomcat进程仍然存在.经过调查发现是因为在Web应用中启动了线程池,shutdown只会关闭web线程(默认监听端口8080),关闭线程(默认监听8005):对于通过线程池(包括Executors创建的ExecutorService),只能是手动清除.使用tomcat容器的好处就在于能够包住应用的生命周期,比如解决这个问题就可以通过实现ServletContextL…

kafka不停止服务的情况下修改日志保留时间

kafka配置文件如下: broker.id=1 port=9092 host.name=ssy-kafka1 num.network.threads=4 num.io.threads=8 socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socket.request.max.bytes=104857600 log.dirs=/data/apps/log/kafka num.partitions=20 log…

linux下shutdown无法关闭tomcat进程的解决方式

1.问题笔者在linux下发现使用tomcat6.0.41自带的./shutdown.sh常常无法停止进程,导致各种问题的发生,令笔者相当反感! 2.解决方式一: 查找到全部的tomcat进程 $ ps -ef | grep tomcat 然后逐一杀死它们 $ kill -9 pid 3.解决方式二: 前诉方案可能因为常常太多须要逐一杀死.太过繁琐. $ kill -9 `ps -ef|grep tomcat|awk '{print $2}'` 3.解决方式三:(未经測试) $killall…

mongodb停止关闭服务

停止服务的方式有两种:快速关闭和标准关闭,下面依次说明: (一)快速关闭方法(快速,简单,数据可能会出错) 目标:通过系统的kill命令直接杀死进程: 杀完要检查一下,避免有的没有杀掉. #通过进程编号关闭节点 kill -2 54410 [补充] 如果一旦是因为数据损坏,则需要进行如下操作(了解): 1)删除lock文件: rm -f /mongodb/single/data/db/*.lock 2 )修复数据: /usr/local/mongdb/bin/mongod --repair --…

kafka系列八、kafka消息重复和丢失的场景及解决方案分析

消息重复和丢失是kafka中很常见的问题,主要发生在以下三个阶段: 生产者阶段 broke阶段消费者阶段一.生产者阶段重复场景 1.根本原因生产发送的消息没有收到正确的broke响应,导致producer重试. producer发出一条消息,broke落盘以后因为网络等种种原因发送端得到一个发送失败的响应或者网络中断,然后producer收到一个可恢复的Exception重试消息导致消息重复. 2.重试过程说明: 1. new KafkaProducer()后创建一个后台线程KafkaT…

关于scratch导出的flash画质很差的问题解决方案

Scratch的分辨率是480*360,因此把scratch文件转变为flash时,因影像和画质很差,把flash插入到ppt幻灯片后,影像和画质仍然得不到保证.经过不断摸索,这个问题终于得到解决,关键是像素问题的处理. 根据一般情况下:1像素=0.635/24厘米,在ppt中,以wps2016为例,插入flash,如图,选择scratch导出的flash文件,选中flash对象框,单击[属性]--[大小],设置: 宽度:12.7厘米,高度:9.51厘米这个宽度和高度数据是经过这样计算的: 4…

ant design Modal关闭时清除数据的解决方案

背景:modal组件关闭时不清除数据,原来输入的数据还存在解决方案: 1.modal的api:destroyOnClose 2.手动控制modal的销毁 this.state = { destroy:true //设一开始为不显示状态 } { this.state.isDestroy ? '' : <Modal className="cjy-rcm-modal" title={this.oprt} footer={null} visible={this.state.visibl…

Tomcat 启动花费很长时间的解决方案

原始解决方案链接将 $JAVA_PATH/jre/lib/security/java.security 中的 securerandom.source=file:/dev/urandom 替换为 securerandom.source=file:/dev/./urandom 根本原因 In this implementation, the generator keeps an estimate of the number of bits of noise in the entropy pool.…

mongo服务器异常

1.Detected unclean shutdown - /data/db/mongod.lock is not empty. 前几天把研究用的虚拟机直接关了回家过年,今天启动发现启动不了,报了个unclean shutdown的异常,仔细研究后发现是由于异常关机导致的,以后还是用--shutdown来关闭比较稳妥,具体解决方案如下: https://docs.mongodb.com/manual/tutorial/recover-data-following-unexpected-shutd…

linux shutdown关闭系统命令使用介绍（转）

shutdown命令是最常用的关闭系统命令,不仅可以用于立即关闭系统,还可以在指定时间关闭系统 linux关闭系统命令之shutdown 关闭.重启系统 Linux是一个多用户.多任务系统,如果不正确地关闭或重启系统,可能会导致系统中的用户数据丢失.可能的情况是用户正在执行某个关键的运算或操作等,如果不经提示关闭系统,用户将来不及保存当前数据,从而导致数据丢失.因此应该掌握正确地关闭.重启系统的方法,以避免数据丢失. 关闭系统命令之shutdown shutdown命令是最常用的关闭系统…

关闭钩子(shutdown hook)的作用

DK1.3介绍了java.lang.Runtime class的addShutdownHook()方法.如果你需要在你的程序关闭前采取什么措施,那么关闭钩子(shutdown hook)是很有用的. JDK1.3介绍了java.lang.Runtime class的addShutdownHook()方法.如果你需要在你的程序关闭前采取什么措施,那么关闭钩子(shutdown hook)是很有用的. 要加关闭钩子(shutdown hook),需要先创建一个java.lang.Thread 类的实…

数据库关闭，shutdown三种语句。

1.shutdown normal 正常方式关闭数据库. 2.shutdown immediate 立即方式关闭数据库. 在SVRMGRL中执行shutdown immediate,数据库并不立即关闭, 而是在Oracle执行某些清除工作后才关闭(终止会话.释放会话资源), 当使用shutdown不能关闭数据库时,shutdown immediate可以完成数据库关闭的操作. 3.shutdown abort 直接关闭数据库,正在访问数据库的会话会…

阿里云Tomcat运行shutdown.sh命令关闭时遇到的问题

1.安装完成jdk之后,然后安装tomcat. tomcat安装成功后,进入tomcat的安装目录,找到bin所在的目录. 使用./startup.sh,启动tomcat; 使用./shutdown.sh关闭Tomcat,有时会关闭成功,有时会出现关闭错误; Feb 09, 2017 11:58:42 PM org.apache.catalina.startup.Catalina stopServer SEVERE: Could not contact localhost:8005. Tomca…

【原创】kafka consumer源代码分析

顾名思义,就是kafka的consumer api包. 一.ConsumerConfig.scala Kafka consumer的配置类,除了一些默认值常量及验证参数的方法之外,就是consumer的配置参数了,比如group.id, consumer.id等,详细列表见官网. 二.ConsumerIterator.scala KafkaStream的迭代器类,当stream底层的阻塞队列为空时该iterator会置于阻塞状态.这个迭代器还提供了一个shutdownCommand对象可…

【原创】kafka server源代码分析(二)

十四.AbstractFetcherManager.scala 该scala定义了两个case类和一个抽象类.两个case类很简单: 1. BrokerAndFectherId:封装了一个broker和一个fetcher的数据结构 2. BrokerAndInitialOffset:封装了broker和初始位移的一个数据结构该scala中最核心的还是那个抽象类:AbstractFetcherManager.它维护了一个获取线程的map,主要保存broker id + fetcher id对应的…

【原创】kafka controller源代码分析(二)

四.TopicDeletionManager.scala 管理topic删除的状态机,具体逻辑如下: TopicCommand发送topic删除命令,在zk的/admin/delete_topics目录下创建topic节点 controller会监听该zk目录下任何节点的变更并为对应的topic开启删除操作 controller开启一个后台线程处理topic的删除.使用该线程主要为了以后能够增加TTL(time to live)的特性.无论何时开启或重启topic删除操作时都会通知该线程.当前,…

【原创】kafka controller源代码分析(一)

Kafka集群中的一个broker会被作为controller负责管理分区和副本的状态以及执行类似于重分配分区之类的管理任务.如果当前的controller失败了,会从剩下的broker中选出新的controller. 一.PartitionLeaderSelector.scala 顾名思义就是为分区选举出leader broker,该trait只定义了一个方法selectLeader,接收一个TopicAndPartition对象和一个LeaderAndIsr对象.TopicAndPartit…

kafka各个版本特性预览介绍

kafka-0.8.2 新特性 producer不再区分同步(sync)和异步方式(async),所有的请求以异步方式发送,这样提升了客户端效率.producer请求会返回一个应答对象,包括偏移量或者错误信.这种异步方地批量的发送消息到kafka broker节点,因而可以减少server端资源的开销.新的producer和所有的服务器网络通信都是异步地,在ack=-1模式下需要等待所有的replica副本完成复制时,可以大幅减少等待时间. 在0.8.2之前,kafka删除topic的功能存在b…