最近在项目中需要写一个数据转换引擎服务,每过5分钟同步一次数据.具体实现是启动engine server后会初始化一个ScheduledExecutorService和一个ThreadPoolExecutor线程池.schduel executor每过5分钟将dataTransformList中每一个tranform加入到线程池中运行.每一个数据转化器负责转换一组数据库数据.在执行过程中存在服务重启并且此时tranform正在转换数据并且数据没有全部操作完,此时希望正在执行的work能正常完成作…

Java的优雅停机通常通过注册JDK的ShootDownHook实现,当系统接受到退出指令后,首先标记系统处于退出状态,不再接受新的消息,然后将积压的消息处理完,最后调用资源回收接口将资源销毁,最后各线程退出执行.…

优雅停机? 这个名词我是服的,如果抛开专业不谈,多好的名词啊! 其实优雅停机,就是在要关闭服务之前,不是立马全部关停,而是做好一些善后操作,比如:关闭线程.释放连接资源等. 再比如,就是不会让调用方的请求处理了一增,一下就中断了.而处理完本次后,再停止服务. Java语言中,我们可以通过Runtime.getRuntime().addShutdownHook()方法来注册钩子,以保证程序平滑退出.(其他语言也类似) 来个栗子: public class ShutdownGracefulTest…

Java 应用优雅停机 我们首先考虑下,一般在什么场景下数据会丢失呢? 升级服务时 pod重启时 服务器断电时 因为服务器断电属于极端情况,我们暂且不考虑.那就只有 Java 退出时我们要保证数据的完整性了.在 Java 中,有一个方法可以实现应用退出时候的优雅停机:shutdown hook.Spring boot把这个东西封装了一下,可以通过 @PreDestroy 注解实现.当 JVM 收到退出的信号时,会调用 shutdown hook 中的方法,完成清理操作.示例代码如下: Runti…

欢迎关注公众号:bin的技术小屋,阅读公众号原文 本系列 Netty 源码解析文章基于 4.1.56.Final 版本 本文概要 在上篇文章 我为 Netty 贡献源码 | 且看 Netty 如何应对 TCP 连接的正常关闭,异常关闭,半关闭场景 中笔者为大家详细介绍了 Netty 在处理连接关闭时的完整过程,并详细介绍了 Netty 如何应对 TCP 连接在关闭时会遇到的各种场景. 在连接关闭之后,接下来就轮到 Netty 的谢幕时刻了,本文笔者会为大家详尽 Java 技术栈中间件中关于优雅停…

不优雅的停机: 当进程存在正在运行的线程时,如果直接执行kill -9 pid时,那么这个正在执行的线程被中断,就好像一个机器运行中突然遭遇断电的情况,所导致的结果是造成服务调用的消费端报错,也有可能导致服务端产生脏数据的后果. 1  什么叫优雅停机? 优雅停机:  当进程存在未执行完毕的线程或者存在待释放的资源时,先让这些线程执行完,和释放资源,再关闭进程. 2  JAVA实现优雅停机    我们可以通过Runtime.getRuntime().addShutdownHook()方法来注册钩子…

Dubbo源码学习--优雅停机原理及在SpringBoot中遇到的问题 相关文章: Dubbo源码学习文章目录 前言 主要是前一阵子换了工作,第一个任务就是解决目前团队在 Dubbo 停机时产生的问题,同时最近又看了一下 Dubbo 的源码,想重新写一下 Dubbo 相关的文章. 优雅停机原理 对于一个 java 应用,如果想在关闭应用时,执行一些释放资源的操作一般是通过注册一个 ShutDownHook ,当关闭应用时,不是调用 kill -9 命令来直接终止应用,而是通过调用 kill -1…

Spring Boot 内嵌容器 Tomcat / Undertow / Jetty 优雅停机实现 Anoyi 精讲JAVA 精讲JAVA 微信号 toooooooozi 功能介绍 讲解java深层次开发,解析各大流行框架的源码 2018-04-19 Spring Boot 在关闭时,如果有请求没有响应完,在不同的容器会出现不同的结果,例如,在 Tomcat 和 Undertow 中会出现中断异常,那么就有可能对业务造成影响.所以,优雅停机非常有必要性,目前官方是没有提供很好的策略来实现. Ea…

想象一下,如果你现在刚好在 word 上写需求文档,电脑突然重启.等待开机完成,你可能会发现写了一个小时文档没有保存,就这么没了... 一个正在运行 Java 应用如果突然将其停止,影响不止数据丢失,还会造成其他影响.比如: 请求丢失:内存队列中等待执行请求丢失 数据丢失:处于内存缓存中数据未持久化到磁盘 文件损坏:正在写的文件没有没有更新完成,导致文件损坏 业务中断:处理一半的业务被强行中断,如支付成功了,却没有更新到数据库中 服务未下线:上游服务依然往停止节点发送请求 所以在关闭服务之前,我…

一.前言 在 『ShutdownHook- Java 优雅停机解决方案』 一文中我们聊到了 Java 实现优雅停机原理.接下来我们就跟根据上面知识点,深入 Dubbo 内部,去了解一下 Dubbo 如何实现优雅停机. 二.Dubbo 优雅停机待解决的问题 为了实现优雅停机,Dubbo 需要解决一些问题: 新的请求不能再发往正在停机的 Dubbo 服务提供者. 若关闭服务提供者,已经接收到服务请求,需要处理完毕才能下线服务. 若关闭服务消费者,已经发出的服务请求,需要等待响应返回. 解决以上三个问…

当大潮退去,才知道谁在裸泳..关注公众号[BAT的乌托邦]开启专栏式学习,拒绝浅尝辄止.本文 https://www.yourbatman.cn 已收录,里面一并有Spring技术栈.MyBatis.中间件等小而美的专栏供以学习哦. 目录 前言 关于版本号 正文 简单回忆2.2版本的新特性 主要新特性 优雅停机 配置属性的调整 删除不推荐使用的类/方法/属性 配置文件位置支持通配符 web下的日期转换支持配置 其它新特性 更改某些依赖最低版本要求 核心依赖升级 三方库依赖升级 Spring Da…

爱生活,爱编码,本文已收录架构技术专栏关注这个喜欢分享的地方. 开源项目: 分布式监控(Gitee GVP最有价值开源项目 ):https://gitee.com/sanjiankethree/cubic 摄像头视频流采集:https://gitee.com/sanjiankethree/cubic-video 优雅停机 目前Spring Boot已经发展到了2.3.4.RELEASE,伴随着2.3版本的到来,优雅停机机制也更加完善了. 目前版本的Spring Boot 优雅停机支持Jetty,…

什么是优雅停机 先来一段简单的代码,如下: @RestController public class DemoController { @GetMapping("/demo") public String demo() throws InterruptedException { // 模拟业务耗时处理流程 Thread.sleep(20 * 1000L); return "hello"; } } 当我们流量请求到此接口执行业务逻辑的时候,若服务端此时执行关机 (ki…

前景回顾 [mq]从零开始实现 mq-01-生产者.消费者启动 [mq]从零开始实现 mq-02-如何实现生产者调用消费者? [mq]从零开始实现 mq-03-引入 broker 中间人 [mq]从零开始实现 mq-04-启动检测与实现优化 [mq]从零开始实现 mq-05-实现优雅停机 为什么需要优雅关闭? 我记得多年前,那个时候 rpc 框架主流用的还是 dubbo,每次都是半夜还是上线,上线上完基本都是凌晨 2-3 点. 为什么要半夜上线呢? 因为这个时候一般业务流量最低. 还有就是上线发…

spring cloud shutdown graceful 优雅停机 当一个服务启动后,会注册到eureka中,其他的服务也可以从eureka获取到新注册的服务.但当我们要停止一个服务的时候,如果直接kill -9 pid,未免有些太过暴力. 直接杀进程有什么问题 eureka要经过一段时间才会把已经挂掉的服务踢出,其他的服务上也还会保留住这个服务一段时间,他们都认为该服务可用.eureka的管理界面中还可以看到该服务,其他服务则还保留这个服务副本一段时间.这时候,如果发起一个请求,就会发生错…

优雅停机 Dubbo 是通过 JDK 的 ShutdownHook 来完成优雅停机的,所以如果用户使用 kill -9 PID 等强制关闭指令,是不会执行优雅停机的,只有通过 kill PID 时,才会执行. 原理 服务提供方 停止时,先标记为不接收新请求,新请求过来时直接报错,让客户端重试其它机器. 然后,检测线程池中的线程是否正在运行,如果有,等待所有线程执行完成,除非超时,则强制关闭. 服务消费方 停止时,不再发起新的调用请求,所有新的调用在客户端即报错. 然后,检测有没有请求的响应还没有…

spring cloud 优雅停机 大部分部署项目如果要停掉项目一般都是用kill -9 来杀进程 但是由于Eureka采用心跳的机制来上下线服务,会导致服务消费者调用已经kill的服务提供者然后出错. 可以采用以下方式来解决: 核心是先调用方法主动通知Eureka注册中心服务下线,然后再停掉服务. 1.向Eureka注册中心发送delete请求 /eureka/apps/{application.name}/{instanceId} 服务器执行命令如下 curl -u winfo:winfo …

本文转载自Java 优雅地退出程序 导语 很多情况下,我们的程序需要在操作系统 后台 一直运行,这在程序代码里的实现就是用死循环 ( while (true) ) 来实现的.但是,这样会出现一个问题,就是我们想要关闭程序怎么办?如果用暴力结束进程方式,那程序的内存中若还有未输出的数据,这部分数据将会遗失.因此,我们要对程序实现 退出收尾 操作,这就需要我们完善我们的程序,实现 "优雅" 地退出. 后台进程 首先,我们需要知道什么是后台进程.众所周知,我们与服务器进行交互都需要通过终端进…

Dubbo 是通过 JDK 的 ShutdownHook 来完成优雅停机的,所以如果使用 kill -9 PID 等强制关闭指令,是不会执行优雅停机的,只有通过 kill PID 时,才 会执行.…

目录 方式一:kill -9 java进程id[不建议] 方式二:kill -15 java进程id 或 直接使用/shutdown 端点[不建议] kill 与/shutdown 的含义 Spring注册的Shutdown Hook EurekaAutoServiceRegistration的stop()事件 EurekaServiceRegistry#deregister() 注销 总结 方式三:/pause 端点[可用,但有缺陷] /pause 端点 AbstractApplication…

本文给出一种优雅的拼装elasticsearch查询的方式,可能会使得使用elasticsearch的方式变得优雅起来,使得代码结构很清晰易读. 建立elasticsearch连接部分请参看另一篇博客:http://www.cnblogs.com/kangoroo/p/7127003.html 1.ESDao -- 类似DB中的dao层 封装了增删改查ES的各种方法 package com.dqa.sentinel.client.es; import com.xiaoju.dqa.sentine…

大部分项目部署中,为了方便,可能都直接使用kill -9 服务的pid来停掉服务. 但是由于Eureka采用心跳的机制来上下线服务,会导致服务消费者调用此已经kill的服务提供者然后出错. 可以采用以下方式来解决: 核心是先调用方法主动通知Eureka注册中心服务下线,然后再停掉服务. 本文会介绍几种eureka 注册中心服务下线的方式 最不可取的就是直接使用kill命令停掉服务. 默认情况下,如果Eureka Server在90秒没有收到Eureka客户的续约,它会将实例从其注册表中删除.但这…

写在前面 项目开发中,记录错误日志有以下好处: 方便调试 便于发现系统运行过程中的错误 存储业务数据,便于后期分析 在java中,记录日志有很多种方式: 自己实现 自己写类,将日志数据,以io操作方式,写数据到文本文件.数据库中. 使用log4j log4j可以将日志输出到console窗口.文本文件.数据库等,功能强大! 使用slfj slfj也是一个很强大的功能,slfj旨在一统天下,提供了logging.jar 和 log4j的接口,可以通过slfj来调用log4j,也可以调用jdk的lo…

写在前面 项目开发中,记录错误日志有以下好处: 方便调试 便于发现系统运行过程中的错误 存储业务数据,便于后期分析 在java中,记录日志有很多种方式: 自己实现 自己写类,将日志数据,以io操作方式,写数据到文本文件.数据库中. 使用log4j log4j可以将日志输出到console窗口.文本文件.数据库等,功能强大! 使用slfj slfj也是一个很强大的功能,slfj旨在一统天下,提供了logging.jar 和 log4j的接口,可以通过slfj来调用log4j,也可以调用jdk的lo…

一.java的三种注释类型 单行注释:// ...... 块注释:/* ...... */ 文档注释:/** ...... */ 二.指导原则 注释不能美化糟糕的代码,碰到糟糕的代码就重新写吧. 用代码来阐述你的意图,好的代码就是最好的注释. 错误的注释比不注释更可怕. 大括号后不要加注释,建议另起一行. 注释调的代码建议删掉. 废话式注释,循规式注释,误导性注释都应该删掉. 巧用标记(TODO.FIXME) 注释要放在距离其描述代码最近的位置. 三.代码格式列举 这里和大家聊下代码基本格式,好…

1 时间追溯到2018年12月的某一天夜晚,那天我正准备上线一个需求完就回家,刚点下发布按钮,告警就响起,我擦,难道回不了家了?看着报错量只有一两个,断定只是偶发,稳住不要慌. 把剩下的机器发完,又出现了几个同样的错误,作为一名优(咸)秀(鱼)程序员,这种问题必须追查到底. 2 娴熟地查询到报错日志 org.apache.ibatis.exceptions.PersistenceException: ### Error querying database. Cause: org.springfr…

_ 最近瞥了一眼项目的重启脚本,发现运维一直在使用 kill-9<pid> 的方式重启 springboot embedded tomcat,其实大家几乎一致认为:kill-9<pid> 的方式比较暴力,但究竟会带来什么问题却很少有人能分析出个头绪.这篇文章主要记录下自己的思考过程. kill -9 和 kill -15 有什么区别? 在以前,我们发布 WEB 应用通常的步骤是将代码打成 war 包,然后丢到一个配置好了应用容器(如 Tomcat,Weblogic)的 Linux…

一个field的设置是不能被修改的,如果要修改一个Field,那么应该重新按照新的mapping,建立一个index,然后将数据批量查询出来,重新用bulk api写入index中 批量查询的时候,建议采用scroll api,并且采用多线程并发的方式来reindex数据,每次scoll就查询指定日期的一段数据,交给一个线程即可 (1)一开始,依靠dynamic mapping,插入数据,但是不小心有些数据是2017-01-01这种日期格式的,所以title这种field被自动映射为了date类…

在 Java 的世界里遨游,如果能拥有一双善于发现的眼睛,有很多东西留心去看,外加耐心助力,仔细去品,往往会品出不一样的味道. 通过本次分享,能让你轻松 get 如下几点,绝对收获满满. a)如何让 Java 程序实现优雅停服?有思想才是硬道理! b)addShutdownHook 的使用场景?会用才是王道! c)addShutdownHook 钩子函数到底是个啥?刨根问底! 1. 如何让 Java 程序实现优雅停服? 无论是自研基础服务框架,还是分析开源项目源码,细心的 Java 开发同学,都…

Runtime.getRuntime().addShutdownHook(shutdownHook); 说明:这个方法的意思就是在jvm中增加一个关闭的钩子,当jvm关闭的时候,会执行系统中已经设置的所有通过方法addShutdownHook添加的钩子,当系统执行完这些钩子后,jvm才会关闭.所以这些钩子可以在jvm关闭的时候进行内存清理.对象销毁等操作. 用途 1应用程序正常退出,在退出时执行特定的业务逻辑,或者关闭资源等操作. 2虚拟机非正常退出,比如用户按下ctrl+c.OutofMemo…