一场由like引发的事故

故事背景: 有一张用户级表,数据量在千万级别,而运营人员要查看这张表,其中有一项查询条件为根据“错误类型”(单值)查出所有包含这个类型的数据,而这个数据类型在数据库存放的方式类似于 “1,2,3,4,5,6,8,9,10,7,11,12” 无序.于是有了如下sql. select count(mistake_type) from mitake_table ' OR r.mistake_type LIKE '%,1' OR r.mistake_type LIKE '1,%' OR r.mista…

一次单片机 SFR 页引发的“事故”

一次单片机 SFR 页引发的"事故" 现象需要使用单片机的 ADC 功能,在对 ADC 初始化后,根据内部分的 IVREN 计算出 VDD 的电压值 . 在读取时一直显示 ADC 异常的高. 排查分析先把所有其它任务去除,只留下一个读取 VDD 的功能,发现还是异常高. 然后把 IO 初始化,主频初始化,外设初始化全部拿掉. 只留下一个 ADC 初始化,现在可以读出正常的值,这下比较放心了,硬件是没有问题的. 然后把一个一个任务加回去,加到 IO 初始化时发现 ADC 值异常了.…

记go中一次http超时引发的事故

记一次http超时引发的事故前言分析下具体的代码实现服务设置超时客户端设置超时 http.client context http.Transport 问题总结参考记一次http超时引发的事故前言我们使用的是golang标准库的http client,对于一些http请求,我们在处理的时候,会考虑加上超时时间,防止http请求一直在请求,导致业务长时间阻塞等待. 最近同事写了一个超时的组件,这几天访问量上来了,网络也出现了波动,造成了接口在报错超时的情况下,还是出现了请求结果的成…

一次mongo查询不存在字段引发的事故

话说今天的一个小小的查询失误给了我比较深刻的教训,也让我对mongo有了更深刻的理解,下面我们来说说这个事情的原委: 我们经常使用阿里云子账号在DMS上查询线上数据库数据,今天也是平常的一次操作集合: XXXX_message数据量约 600万我执行了下面的mongo查询: db.XXXX_message.find({"channel_id": "1000000009XXXX700XXXX"}).limit(20); 但是上述语句中的 "channel…

一条 SQL 引发的事故，同事直接被开除！！

前言 Insert into select请慎用. 这天xxx接到一个需求,需要将表A的数据迁移到表B中去做一个备份.本想通过程序先查询查出来然后批量插入.但xxx觉得这样有点慢,需要耗费大量的网络I/O,决定采取别的方法进行实现. 通过在Baidu的海洋里遨游,他发现了可以使用insert into select实现,这样就可以避免使用网络I/O,直接使用SQL依靠数据库I/O完成,这样简直不要太棒了. 然后他就被开除了. 事故发生的经过. 由于数据数据库中order_today数据量过大,当…

一场由fork引发的超时，让我们重新探讨了Redis的抖动问题

摘要:一次由fork引发的时延抖动问题. 背景介绍华为云数据库GaussDB(for Redis) 是一款基于计算存储分离架构,兼容Redis生态的云原生NoSQL数据库:它依靠共享存储池实现了强一致,支持持久化落盘存储,保证数据的安全可靠.其核心特点是:存算分离.强一致.低成本.超大容量. GaussDB(for Redis)服务团队在支撑某客户业务上云的过程中,发现一次由fork引发的时延抖动问题,本着对客户负责任的态度,我们详细探究了fork这个系统调用的性能影响,并且在最新的Gauss…

记录一个i变量引发的事故

概述近期开发中遇到一个特别的问题,觉得很有必要与你下来.就是由于在开发中一个很小的疏忽,导致了很大的问题,是什么呢? 现象我的程序突然引发了v8内部的错误,提示都是c++的,如下.程序一启动就直接崩溃.没有任何错误提示. # # Fatal error in , line 0 # Fatal JavaScript invalid size error 195652814 # # # #FailureMessage Object: 0x7ffd9ac17dd0 1: 0xb76401 [nod…

一场由yield引发的连串拷问

最近在学习Python中生成器时,遇到了一个yield关键词,廖雪峰老师的官网中也没有详细的解释,经过一番查阅和研究,终于对它有了一些认识并做了总结(如有不对之处,还请大神指正). 首先先简单了解下生成器generator,它是为了弥补类似list生成序列时造成的内存空间浪费,例如下面代码中L会将所有值运算出来,全部放到内存中,可想而知,要是有百万千万级的数据,该占用多大内存.而使用生成器的形式,只要将[]改为(),这样只有需要用到的时候,才会去计算下一个值. >>> L = [x *…

一个purge参数引发的惨案——从线上hbase数据被删事故说起

在写这篇blog前,我的心情久久不能平静,虽然明白运维工作如履薄冰,但没有料到这么一个细小的疏漏会带来如此严重的灾难.这是一起其他公司误用puppet参数引发的事故,而且这个参数我也曾被“坑过”. 0. 一个purge参数引发的事故故事要从周二下午说起,安静了一天的某技术交流群,突然有个惊慌失措的同学在群里说,他直接使用了第三方的puppet hbase module来管理线上hbase集群,结果这个模块在管理数据文件夹时,使用了一个purge参数把几乎所有的线上数据都删完了.他已经和…

蒙牛乳业六厂—第一家MES工厂

在上海西门子工业自动化(SIAS)与蒙牛液态奶事业部以及蒙牛集团信息中心的共同努力下,经过项目组成员1年半时间的具体实施,中国乳品行业第一个真正意义上的生产执行系统MES,于2008年6月在蒙牛乳业集团液态奶高科六厂上线,并于8月正式投运.蒙牛高科乳业六厂,这个目前世界上最大的液态奶生产厂同时也是中国自动化程度最高并且最先进的生产厂,目前正感受着MES给工厂带来的巨大变化和效益.项目组双方的合作始终立足于取二者之长,互助互利,平等贡献的状态.这也保证了整个项目的顺利进行和成功. 蒙牛高科六厂不仅…

SQL SERVER 运维日记-数据库备份

概述昨天下午突然看到,<炉石传说>游戏数据库发生宕机并引发数据丢失事故的新闻.刚看到时,满满的不可思议.暴雪啊,网易啊. 都是很牛叉的公司.他们出的游戏我都是很喜欢的. 当我看到,第一时间着手抢修,重启服务器,并尝试数据恢复时,我的想法是他们的高可用方案呢?为什么不马上切换? 当我看到相关备份数据库也出现故障时,就更无语了.其实这样的事情在我们的客户每年都会遇到很多.前不久就有一个医院, 数据库和备份都同时损坏,而且没有高可用的方案. 虽然最终帮他们修复了好数据库,但还是丢失部分数据,而且中…

Nacos系列：基于Nacos的配置中心

前言在看正文之前,我想请你回顾一下自己待过的公司都是怎么管理配置的,我想应该会有以下几种方式: 1.硬编码没有什么配置不配置的,直接写在代码里面,比如使用常量类优势:对开发友好,开发清楚地知道代码需要用到什么配置劣势:涉及秘钥等敏感配置直接暴露给开发人员,不安全:如果想修改配置必须重新发版,比较麻烦 2.外部化配置文件 Spring项目经常会在resoures目录下放很多配置文件,各个环境对应不同的配置文件,通过SVN管理优势:配置文件外部化,支持多环境配置管理,修改配置只需重启服务,…

自学华为IoT物联网_05 能源工业物联网常见问题及解决方案

点击返回自学华为IoT物流网自学华为IoT物联网_05 能源工业物联网常见问题及解决方案 1. 1 能源工业--油田业务面临的三大挑战故障处理不及时: 部分油田开采难道大.机械故障较多.现场发生的故障有时不能及时处理数据抄录不准确:现网数据要靠手动抄录,效率较低.同事现场生产中的问题主要依靠人工巡检,不能准确的将大量油井数据数据及时反馈到管理中心. 员工安全无保障:大量的油井巡检需要较多的油田员工,有时需要深夜到荒无人烟的油井区域进行巡检,可能引发油田员工人身安全的问题. 1.2 能源工…

Android APP之WebView如何校验SSL证书

Android系统的碎片化很严重,并且手机日期不正确.手机根证书异常.com.google.android.webview BUG等各种原因,都会导致WebViewClient无法访问HTTPS站点.SSL错误的处理方式十分关键,如果处理不当,可能导致中间人攻击,黑客窃听数据,进而引发安全事故. 严谨地处理onReceivedSslError尤为重要.请参考以下代码,原理是:如果webview报告SSL错误,程序将会对服务器证书进行强校验,如果服务器传入证书的指纹(sha256)与记录值一致,说…

Centos7部署k8s[v1.16]高可用[keepalived]集群

实验目的一般情况下,k8s集群中只有一台master和多台node,当master故障时,引发的事故后果可想而知. 故本文目的在于体现集群的高可用,即当集群中的一台master宕机后,k8s集群通过vip的转移,又会有新的节点被选举为集群的master,并保持集群的正常运作. 因本文体现的是master节点的高可用,为了实现效果,同时因资源条件限制,故总共采用4台服务器完成本次实验,3台master,1台node. 看到这也需有人有疑惑,总共有4台机器的资源,为啥不能2台master呢?这是因…

CDR

伴随着新经济.独角兽一同被热议的,中国将很快推出存托凭证迎接独角兽回归.中国存托凭证(CDR)已成为当下热门话题.说不清CDR,还能和小伙伴们愉快地聊天吗? CDR到底是什么?它具有哪些优势?能否带来投资机会?券商中国记者整理了如下十问十答. 1 一问:什么是DR和CDR? 先说DR,即存托凭证(Depository Receipt),是境外市场上一种较为成熟的证券品种.它是指境外主体在境内发行的.代表其境外股票等基础证券权益的有价证券. 按照发行或交易地点不同,会冠以不同的名称. 比如,最具代…

渗透测试方法论(qf总结)

渗透测试(penetration testing , pentest)是实施安全评估(即审计)的具体手段.方法论是在指定.实施信息安全审计方案时,需要遵循的规则.惯例和过程.人们在评估网路.应用.系统或三者组合的安全状况时,不断摸索各种务实的理念和成熟的做法,并总结了一套理论-渗透测试方法论. 渗透测试的种类黑盒测试在进行黑盒测试时,安全审计员在不清楚被测单位的内部技术构造的情况下,从外部评估网络基础设施的安全性.在渗透测试的各个阶段,黑盒测试借助真实世界的黑客技术,暴露出目标的安全问题,甚…

【Android开发】用WebView访问证书有问题的SSL网页

互联网界的IT巨变：从DOS的编辑器，到如今的无代码开发

众所周知,Borland Pascal.Turbo Pascal.Turbo C等这类开发工具,都习惯自带IDE. 因此,我产生了一个大胆的想法. DOS时代下的Turbo C 如果说Anders这类编译器的作者,对编辑器有什么莫名其妙的执念的话,DOS程序员对编辑器,又会存在着怎样深厚的执念呢? 为了避免造成阅读障碍,有必要给大家普及一下"什么是编辑器". 编辑器即软体程序,一般是指用来修改电脑档案的编写软件,但也有人称 HE4(汉书).PE2--等文书软件为编辑器.常见的编辑器有文…

Feign get接口传输对象引发一场追寻

一个报错引发的追寻之路: Feign get接口传输对象,调用方接口代码: @FeignClient(name = "manage") public interface AccessApiService { @RequestMapping(value = "/interface/listWithRules", method = RequestMethod.GET) Result<PageQueryResult<InterfaceInfo>>…

(笔记)一场由SD卡引发的灾难

一场由SD卡引发的灾难注:此文章转自“https://user.qzone.qq.com/63915185/blog/1512562541”. Flash里面的数据在使用过程中莫名改变或不翼而飞?程序丢失可能无法正常运行,从而造成整个系统崩溃.Flash,说好的数据去哪了? 今天,笔者要为大家分享一个由SD引发的灾难,以及该灾难被我们项目组攻克的技术案例. 去年上半年,我们公司承接了某大型广告公司的电梯广告显示屏的项目,该产品使用了飞思卡尔的IMX6系列芯片作为主控CPU,具备媒体人机…

一场由SD卡引发的灾难_转

注:此文章转自“https://user.qzone.qq.com/63915185/blog/1512562541”. Flash里面的数据在使用过程中莫名改变或不翼而飞?程序丢失可能无法正常运行,从而造成整个系统崩溃.Flash,说好的数据去哪了? 今天,笔者要为大家分享一个由SD引发的灾难,以及该灾难被我们项目组攻克的技术案例. 去年上半年,我们公司承接了某大型广告公司的电梯广告显示屏的项目,该产品使用了飞思卡尔的IMX6系列芯片作为主控CPU,具备媒体人机触摸互动.媒体投放.远程…

由简单的CMD命令引发的一场学习战斗

想要打开一个软件时,由于桌面没有存放快捷方式,又忘了软件存放在电脑上的哪个角落.脑海里突然闪过一个想法:用CMD自定义软件的打开方式,于是问了度娘.由此,引发了一场停不下来的CMD学习战斗. 爱上CMD,不是一天两天的事情了.一直都很爱,但又是一直都很无奈.因此我这次一定要好好的把对CMD的热爱进行到底.被我摊上了,你就完蛋了. 后续日子,我将会贡献出一大堆的CMD学习过程来与大家分享. 第一章批处理基础第一节常用批处理内部命令简介批处理定义:顾名思义,批处理文件是将一系列命令按一定的顺…

一场由过滤器Filter引发的血案

一场由过滤器Filter引发的血案事件起因本来应该是下图的登录界面变成了这样 What's the fuck????? 抓狂原因解决方法: 在过滤器中给资源文件开个绿色通道…

由定时脚本错误以及Elasticsearch配置错误引发的Flink线上事故

近期接手离职同事项目,突然遇到线上事故,Flink无法正常聚合数据生成指标. 以下是详细的排查过程: 问题复现清晨,运维报告Flink数据分析模块无法正常生成指标数据. 赶紧登陆Flink所在机器,使用如下语句简单查看Job状态. ./bin/flink list 查看输出,发现故障Job在Running状态. 因为数据分析模块运行时间较久,近期没有更新过,因此怀疑是依赖的中间件问题. 问题根源定位 (1) 查看数据源数据分析模块依赖于Kafka,因此登陆Kafka所在机器,查看相应topi…

GUI引发的一场脑部大战|wine、wsl、mono、gtk、qt

没写完不想写了,先发布吧,这就是一个引子. 在春天种下一颗种子---- GUI引发的一场脑部大战|wine.wsl.mono.gtk.qt 思路开拓了,方法一下子就来了 wine可以运行大部分Windows软件,实在不行还有虚拟机,虚拟机性能弱,还可以进行远程服务器玩耍. 大家都来完善Linux系统,就可以慢慢放弃使用Windows系统了 golang+gtk golang+QT C#+mono dotnet core+gtk# dotnet core3+gtk#golang + gtkjava…