【排障】tomact未能看到网页

[排障]tomact未能看到网页文:食梦貘这是几个月前的事情了,那时候我在安装xwiki,需要用到tomcat,但是初次安装好时碰上过一个故障: 安装tomcat后,客户机用IE网址上输入:服务端IP:8080 仍无法看到tomcat的网页 telnet 服务机8080端口提示连接被拒绝(反正就是不弹黑窗) 但防火墙确信是已配置好放行8080端口的,纠结了半天防火墙,关了也试过,都无效后来再网上查tomcat的时候,发现有人提到tomcat有一个错误日志! 设置JDK环境变量时由于是直接复…

dump解析入门-用VS解析dump文件进行排障

突然有一天部署在服务器的一个应用挂掉了,没办法只能进入服务器打开 [事件查看器]查看下,好不容易找到了打开后一脸懵逼事件查看器查到的内容根本对我们排障没有任何作用. 在这个时候如果有对应的dump文件就能派上用场了, 只要有dump文件就能查到应用挂掉那刻的一手情报,可能有人认为分析dump文件是非常难的事情, 但是最近不断有新的dump分析工具出来,例如用vs2017就能够很简单的分析dump文件. 接下来我们用几个实际的例子来看看如何用vs2017来分析dump文件吧 dump文件的收集…

如何进行kubernetes问题的排障

排障的前置条件 k8s的成熟度很高,伴随着整个项目的扩增,以及新功能和新流程的不断引入,也伴随这产生了一些问题.虽然自动化测试可以排除掉大部分,但是一些复杂流程以及极端情况却很难做到bug的完全覆盖.因此在实际的工作过程中,需要对运行的集群进行故障定位和解决. 当然,进行排障的前提是对于k8s的流程和概念进行掌握,对于源码有一定的掌握能力,才可以更好的进行.待排障的环境和版本和源代码的版本需要进行匹配.版本号可以通过version命令获取,然后从源码进行对照.而且kubectl version还…

【思考】由安装zabbix至排障php一系列引发的思考

[思考]由安装zabbix至排障php一系列引发的思考 linux的知识点林立众多,很有可能你在排查一个故障的时候就得用到另一门技术的知识: 由于linux本身的应用依赖的库和其它环境环环相扣,但又没有很好隔离应用,所以催生了Docker这种虚拟容器的技术, 虽然我现在还没有去掌握Docker,但我已经觉得迫在眉睫需要去学习并好好应用上了. 大概2016年8.9月份我知道了有Docker这种东西,到2017年1月份也只是大致上对它有一些了解和看了有关它技术的开篇的文档. 因为其它如mysql.n…

【原】个人对win7开机黑屏只有鼠标排障总结

个人对win7开机黑屏只有鼠标排障总结文:铁乐猫第一种情况是explorer.exe进程丢失或损坏有关: 判断方法是按Ctrl+Alt+Del键能呼出任务管理器,结束explorer.exe进程,再运行输入"explorer.exe"后能看到桌面被加载出来.这种情况是最好解决的,修改一下注册表HKEY_Local_Machine\Software\Microsoft\Windows NT\CurrentVersion\Winlogon 中的shell项,将explorer.exe值…

[转]Traceroute网络排障实用指南（2）

五.优先级与限速 5.1 Traceroute延时判断影响因素 Traceroute延时包括三点: 探测包到达一个特定路由器的时间路由器生成IPMI TTL Exceed的时间 ICMP TTL Exceed返回到SRC的时间第一个和第三个时间都是受实际网络情况影响的,而第二个时间不是.能够对网络问题的判断起到帮助作用的仅仅只有第一个和第三个时间,第二个时间往往起到误导的作用. 5.2 路由器工作原理路由器有转发(data-plane)和接收(control-plane)的功能. 路由器转…

记一次KUBERNETES/DOCKER网络排障

https://coolshell.cn/articles/18654.html 总结在前面: 1.kill -9杀死docker进程,系统一定是要遍历所有的docker子进程来一个一个发退出信号的,这个过程可能会非常的长,结果客户没等到遍历完直接Ctrl+C结束了kill,导致一些docker的进程被杀死,这些docker的子进程就被挂载到PID 1下了,其中docker的NAT进程一直还在,所以出现的现象就是IP地址冲突. 2.上面的问题,重启必然能解决~~所以重启是万能法宝 3.一台物理服…

[ovs][libvirt][virtio][qemu] vhost user client 排障

ovs-dpdk + qemu 使用vhostuserclient通信,连路不通,libvirt报错如下: -- ::: starting up libvirt version: , package: .el7_4. (CentOS BuildSystem <http://bugs.centos.org>, 2018-03-07-13:51:24, x86-01.bsys.centos.org), qemu version: 2.9.0, hostna LC_ALL=C PATH=/usr/l…

系统之锹sysdig：Linux服务器监控和排障利器

当你需要追踪某个进程产生和接收的系统调用时,首先浮现在你脑海中的是什么?你可能会想到strace,那么你是对的.你会使用什么样的命令行工具来监控原始网络通信呢?如果你想到了tcpdump,你又作出了一个极佳的选择.而如果你碰到必须追踪打开的文件(在Unix意义上:一切皆文件)的需求,可能你会使用lsof. strace.tcpdump以及lsof,确实是些伟大的工具,它们应该成为每个系统管理员工具集之中的一部分,而这也正是你为什么应该爱上sysdig的原因.它是一个强大的开源工具,用于系统级别的…

MongoDB系统CentOS 7.1 crash的排障过程

[作者] 王栋:携程技术保障中心数据库专家,对数据库疑难问题的排查和数据库自动化智能化运维工具的开发有强烈的兴趣. [问题描述] 最近我们有多台MongoDB的服务器CentOS 7.1系统发生了crash,会不定期的自动重启. [排查思路] 1.碰到linux系统crash的问题,我们首先想到的是排查系统日志/var/log/message,看是否有硬件问题或其他原因.抽查了多台服务器在crash的时间点message中都没有记录异常信息. 2.对于CentOS 7的系统,我们可以使用jour…

记一次nginx -t非常慢的排障经历

在一次修改nginx配置时候,执行 case: #/usr/local/nginx/sbin/nginx -t 出现执行命令出现很久没返回结果,也没返回成功或是失败,就是一直卡住的状态,严重影响nginx配置文件修改. -t : test configuration and exit //-t就是检查nginx配置检查. , 出现此问题之后,开始着手排查原因. solution: 于是用ps-ef获取到改进程的pid,想知道这个进程到底在哪一步耗时 ps -ef |…

【原创】记一次MySQL大表高并发写入引发CPU飙升的排障过程

目录一．故障现象... 1 二．初步分析... 2 三．排障过程... 2 1．排查是否QPS或insert并发请求上升导致问题发生... 2 2．排查是否锁资源等待或block导致了insert变慢... 3 3．排查是否表上无用索引导致的写入时间较长... 5 4.人工抓取perf,排查CPU上升期间的资源消耗... 5 5.疑似触发MySQL BUG,进一步分析... 6 四．优化过程... 8 1．初步优化方案... 8 2．删除一批无用索引,将服务器内存升级到80G.. 9 3．未达…

IEEP-OSPF域内路由故障-现象与排障思路

OSPF域内路由故障-现象与排障思路一.故障现象 OSPF的或内路由故障常表现为邻居路由器不通告部分或全部路由,可能的原因通常为: 1).拟通告的接口上未启用OSPF 2).拟通告的接口被关闭 OSPF是一种基于链路状态的内部网关路由协议,存在链路状态数据库,在运行了OSPF的路由中需要重点关注邻居表.链路状态数据库(也叫链路状态表).路由表.如果邻居不通告某条路由,那么这条路由将无法显示在本地路由器的路由表和OSPF链路状态数据库中.同时, 这也表示邻居没有把这条路由包含到它自己的OSPF链…

TraceID在AspNETCore日志排障中的应用

前言 .NetCore日志,相信大家多少都接触过,博客园有关 ① AspNetCore依赖注入第三方日志组件 ②第三方日志组件Nlog,Serilog 应用方法的博文层出不穷. 结合程序的部署结构,本文分单体和微服务聊一聊AspNetCore中追踪日志流的方法. TraceId AspNetCore程序基于Pipeline和中间件处理请求, 根据需要记录日志: 生产出故障时,在数量庞大的日志记录中追踪某个请求完整的处理链显得很有必要(这个深有体会). 针对单体程序,AspNetCore贴心的…

[转帖]记一次KUBERNETES/DOCKER网络排障

记一次KUBERNETES/DOCKER网络排障 https://coolshell.cn/articles/18654.html 记得之前在一个公众号里面看过这个文章讲的挺好的.. 物理机直接跑docker 有利有弊如果出了问题之后很难通过重启解决因为影响面积太大如果加上一层虚拟化的话虽然有一定的损耗但是能避免一些单一环境的严重问题. 昨天周五晚上,临下班的时候,用户给我们报了一个比较怪异的Kubernetes集群下的网络不能正常访问的问题,让我们帮助查看一下,我们从下午5点半…

flannel vxlan工作基本原理及常见排障方法

写在前面最近用kubeadm鼓捣了几个cluster集群测试用,网络用的flannel.因为这些机器都不是纯净的环境(以前部署过其他的k8s或者有一些特别的设置),所以部署起来遇到了很多问题.看了下相关的文章,梳理了flannel的vxlan的工作原理,成功对这几个环境进行了排障.本文主要是相关流程的笔记记录. 容器间通信本文以两个节点上的两个容器间通信为例,介绍网络报文的流转过程以及可能出现的问题. flannel使用的镜像为quay.io/coreos/flannel:v0.11.0-a…

【排障】编译安装Mysql并使用自启动脚本mysqld后报错

本文用于记录在某次个人实验搭建DZ论坛,在编译安装部署mysql环节时出的错到最终排除错误的过程, 前面采用DZ官网所采用的编译安装mysql的过程就省去,主要从报错处开始讲述. (题外话,经此一役后,在下深觉如果不是针对DZ官网给出的mysql包和脚本是针对它的产品作了优化的话,还是之前自己掌握了的RPM换源安装Mysql及普通青年的编译安装mysql方法要简易适合得多,不过对方那个使mysql开机自动启动的脚本及一些目录编排一些配置有可借鉴的地方) 启动mysql时报错,服务退出而不更新PI…

手把手教你crontab排障

导读 crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程,与windows下的计划任务类似,当安装完成操作系统后,默认会安装此服务工具,并且会自动启动crond进程,crond进程每分钟会定期检查是否有要执行的任务,如果有要执行的任务,则自动执行该任务.Linux下的任务调度分为两类,系统任务调度和用户任务调度.系统任务调度:系统周期性所要执行的工作,比如写缓存数据到硬盘.日志清理等.在/etc目录下有一个crontab文件,这个就是系统任务调度的配置文件. cro…

【排障】nginx在reload时候报错invalid PID number

nginx在reload时候报错invalid PID number nginx重新加载配置文件时候报错,提示无效的PID: 解决的办法有二: 第一种思路是因为是加载配置文件报的错,所以用-c 选项指定配置文件 ,如此指明后问题解决: 第二种思路是从PID号着手,提示无效PID号时nginx.pid文件为空,将进程的PID号追加到空的nginx.pid上,问题解决: (上图引用自网络其他人的博客) 这是我做实验的机器上已经通过第一种加载配置成功后查看到的进程PID号. 这两种思路来说我倾向于第一…

【排障】Outlook Express 2G收件箱大小限制

Outlook Express 2G收件箱大小限制文:铁乐猫 ----------------------------- Outlook Express(以下简称OE)客户端收件箱大于或接近2G时,会发生接收不到该收件箱的邮件或发送不到邮件的错误(假如"己发送"收件箱文件接近2G). 也许还会出现如下错误提示"出现未知错误,错误号:0x800C0133". 这在我最近对客户端的维护中经常碰到,因为该处客户感觉至少还有5.6台电脑是还在用OE来接收邮件的,大部份经说…

【排障】使用DiskGenius修复0扇区损坏

用PE引导启动进入PE后打开DiskGenius软件 "硬盘"图形菜单------选择驱动器符号(例如C) 主界面中显示该硬盘的分区格式为FAT32,起始柱面0,起始磁头65. 在选中的启动分区上右击,弹出的菜单中选择"更改分区参数(F11)"将起始柱面的值0改为1. 保存-----重新格式化即可. -------------------------------- 猫语: 其实这种方法只是像隔离坏道般避开损坏的0扇区而已.不过有效即可.不用大动干戈伤筋动骨还不一定讨…

【排障】每次打开word都提示要安装配置

为什么每次打开word都提示要安装配置?很多人在打开word时,总是提示要安装配置一遍,花去不少时间,这是由于电脑里有两个不同版本的office软件,产生的原因可能是原来的卸载了没卸载干净,或是安装了更高版本的office. 电脑中如果两个版本的word安装在同一个文件夹中,由于模板的不一样,每次打开都要加载模板,所以出现了"安装配置"的现象. 而且只有word才会出现这个问题,excel不会方法/步骤点击"打开"->"运行"->…

[转]Traceroute网络排障实用指南（1）

注:本文是同事的大作,虽是翻译的一篇英文PPT,但内容实在精彩,小小的Traceroute竟包含如此大的信息量,真是让人感慨!内容不涉及公司机密,所以一直想转到自己的Blog上来,自己需要时可以再翻阅学习. ----------------------------------------------------- 原文Created and last modified by tanzh on 十月 14, 2014 本人网络知识比较欠缺,最近就在网上游逛,学习网络知识,机缘巧合找到一个思路很广的…

近期ubuntu 14.04 cpu占用高排障

近期linux使用总是cpu达到满值, 双核cpu其中一个核总是100%,另一个核正常.top之发现输入法框架fcitx满载,直接kill之,发现搜狗输入法不能用了,随即输入如下命令: fcitx fcitx-qimpanel 输入法恢复鸟,cpu也变为0鸟,鸥鸟!…

CentOS7路由、端口和服务排障常用命令

1. ip route 显示主机基本路由信息 ~]# ip route default via 172.25.0.254 dev eth0 proto static metric 1024 172.25.0.0/24 dev eth0 proto kernel scope link src 172.25.0.11 172.25.253.254 via 172.25.0.254 dev eth0 proto static metric 1 2. traceroute / tr…

CentOS7系统引导顺序以及排障

引导顺序 UEFi或BIOS初始化,运行POST开机自检选择启动设备引导装载程序, centos7是grub2 加载装载程序的配置文件:/etc/grub.d/ /etc/default/grub /boot/grub2/grub.cfg 加载initramfs驱动模块加载内核选项内核初始化,centos7使用systemd代替init 执行initrd.target所有单元,包括挂载/etc/fstab 从initramfs根文件系统切换到磁盘根目录 systemd执行默认targ…

排障利器之远程调试与监控 --jmx & remote debug

监控和调试功能是应用必备的属性之一,其手段也是多种多样. 一般地,我们可以通过:线上日志, zabbix, grafana, cat 等待系统做一问题留底,有问题及时报警,从而达到监控效果. 而对于应用的调试,我之前的文章也提到了几个工具,当然,我对于 arthas 是调试赞扬的.请参考: 线上应用调试利器 --Arthas 但有句老话: 一千个人眼里有一千个哈姆雷特!所以,你应该要知道更多的方式. 本文来看看咱们另一个调试调试与监控方式! 1. jmx 怎么样 ? 百科解释: JMX(Java…