今天来给大家分享下这两天遇到的一个问题,服务器被挖矿了,把我的排查记录分享下,希望能帮到有需要的同学. 问题原因 多台服务器持续告警CPU过高,服务器为K8s的应用节点,正常情况下CPU使用率都挺低的,通过排查是原因是被挖矿了,下面为定位过程 定位过程 登陆问题主机10.92.0.X,通过执行top命令查看资源使用情况如下 cpu使用率基本跑满(用户态),没有发现可疑的进程,初步怀疑可能是进程在哪里隐藏了 执行命令ps -aux --sort=-pcpu|head -10 嗯哼,藏得够深的,可还

geektime专栏<linux性能优化实战>笔记 一.Linux问题排查命令 uptime top free vmstat iostat ifstat 二.Sun JDK自带工具 jps(虚拟机进程状况工具) [peng@manjaro java]$ jps -l SynAddRunnable sun.tools.jps.Jps [peng@manjaro ~]$ jps -l sun.tools.jps.Jps [peng@manjaro ~]$ jps -v Jps -Denv.clas

1.top查看资源使用情况 看到这些进程一直在变化,但是,主要是由于kswapd0进程在作怪,占据了99%以上的CUP,查找资料后,发现它就是挖矿进程 2.排查kswapd0进程 执行命令netstat -antlp | grep kswapd0 查询该进程的网络信息 netstat -antlp | grep 194.36.190.30 发现只有这一个进程(当然,很有可能还会有其他进程) 3.查找进程的详细信息 我们来到/proc/目录下查找对应的pid号,即/proc/497.可以在这目录下

Java的工具集相当强大,学习成本也很低,处理线上问题时,jstack这个工具就比微软的windbg,好学好用很多,3步找出占用CPU很高的源所在.而windbg反人类的各种命令,实在不敢恭维. 故意设置了一个CPU占用很高的场景: 排查问题,步骤: 1. ps -mp [替换为进程ID PID] -o THREAD,tid,time 发现线程6322.6323占用CPU很高,时间也很长. 2. printf “%x” [线程ID TID] 把TID转换为16进制. 3. jstack [进程I

最近遇到一个page的释放异常的问题,堆栈如下: [ 1000.691858] BUG: Bad page state in process server.o pfn:309d22 [ mapcount: mapping:ffff880279688308 index:0x0 [ 1000.691860] page flags: 0x2fffff00020000(mappedtodisk) [ 1000.691862] page dumped because: non-NULL mapping [

分几步骤: 1.通过top,查出占用CPU过高的java进程 ,比如: pid :6666 2.通过ps -mp 6666 -o THREAD,tid,time| sort -n -k1 -r 查看此进程占用线程的情况,比如查到占用CPU异常高的线程的线程Id :8888 以上两步,可以直接通过top -H搞定 3.将需要的线程ID转换为16进制格式: printf “%x\n” 8888 [root@xxx.eureka.com]# printf “%x\n” 8888“22b8n” 4.最后

步骤一.找到最耗CPU的进程 工具:top 方法: 执行top -c ,显示进程运行信息列表 键入P (大写p),进程按照CPU使用率排序 图示: 如上图,最耗CPU的进程PID为10765 步骤二:找到最耗CPU的线程 工具:top 方法: top -Hp 10765 ,显示一个进程的线程运行信息列表 键入P (大写p),线程按照CPU使用率排序 图示: 如上图,进程10765内,最耗CPU的线程PID为10804 步骤三:将线程PID转化为16进制 工具:printf 方法:printf “

命令如下: 查看每个PHP-FPM进程的内存占用:ps -ylC php-fpm –sort:rss 查看消耗内存最多的前 40 个进程:ps auxw|head -1;ps auxw|sort -rn -k4|head -40 查看PHP-FPM的平均内存占用:ps –no-headers -o “rss,cmd” -C php-fpm | awk ‘{ sum+=$1 } END { printf (“%d%s\n”, sum/NR/1024,”M”) }’

1 先查看整个磁盘的情况 df    -h                     查看整台服务器的硬盘使用情况 cd    /                       进入根目录 du   -sh    *              查看每个文件夹的大小 2 再进入到对应的大空间文件夹,定位,大文件夹 3 使用ln -s 软连接,连接到空间大的硬盘 例如 /var/log 空间太大,存储的,移动到wm1文件夹下面 sudo mkdir /wm1/var/log #授权给对应用户,看你具体情

检查端口占用 lsof -i:[port] netstat -anp |grep [port] 监控网络客户TCP连接数 netstat -anp | grep tcp |wc -l 获取某进程中运行中的线程数量 ls /proc/[PID]/task | wc -l 输出进程内存的状况,分析线程堆栈 pmap 统计文档容量 du -sh [目录|文件|正则] 例如:查看日志文件大小,从而判定日志是否被入侵者清理掉. du -sh /var/log/* 查看文件系统挂载点容量 df -h |gr

SSH 暴力破解趋势:从云平台向物联网设备迁移 | 云鼎实验室出品 from: http://www.freebuf.com/articles/paper/177473.html 导语:近日,腾讯云发布2018上半年安全专题系列研究报告,该系列报告围绕云上用户最常遭遇的安全威胁展开,用数据统计揭露攻击现状,通过溯源还原攻击者手法,让企业用户与其他用户在应对攻击时有迹可循,并为其提供可靠的安全指南.上篇报告从DDoS 攻击的角度揭示了云上攻击最新趋势,本篇由同一技术团队云鼎实验室分享:「SSH暴力

网络不通 先ping自己 在ping网关 再ping外网 再ping别人的ip 背景需求 Linux 因为其强大的网络处理能力,被广泛用于网关(实例链接)和服务器(实例链接).实际工作中,快速排查这些 Linux 设备的网络故障成为解决问题的利器.为此,本文列出高频使用的 Linux 排查网络故障的命令. 诊断系统资源 CPU: uptime, top, sar -u RAM: free, top, sar -r Disk: iostat, sar -b, df -h, du -S /home

linux驱动开发总结(一) 基础性总结 1, linux驱动一般分为3大类: * 字符设备 * 块设备 * 网络设备 2, 开发环境构建: * 交叉工具链构建 * NFS和tftp服务器安装 3, 驱动开发中设计到的硬件: * 数字电路知识 * ARM硬件知识 * 熟练使用万用表和示波器 * 看懂芯片手册和原理图 4, linux内核源代码目录结构: * arch/: arch子目录包括了所有和体系结构相关的核心代码.它的每一个子目录都代表一种支持的体系结构,例如i386就是关于intel c

CentOS7(增加源) yum repolist # 查看yum源列表 yum localinstall http://dl.fedoraproject.org/pub/epel/7/x86_64/Packages/e/epel-release-7-11.noarch.rpm -y yum makecache # 将服务器上的软件包信息下载到本地缓存, 以提高搜索和安装软件的速度 yum repolist # 可以再次查看新加入的列表 yum install pptpd -y # 再次执行安装

前言 网上许多博客针对增大 TCP 半连接队列和全连接队列的方式如下: 增大 TCP 半连接队列的方式是增大 /proc/sys/net/ipv4/tcp_max_syn_backlog: 增大 TCP 全连接队列的方式是增大 listen() 函数中的 backlog: 这里先跟大家说下,上面的方式都是不准确的. “你怎么知道不准确?” 很简单呀,因为我做了实验和看了 TCP 协议栈的内核源码,发现要增大这两个队列长度,不是简简单单增大某一个参数就可以的. 接下来,就会以实战 + 源码分析,带

0x00 前言 ​ 随着虚拟货币的疯狂炒作,利用挖矿脚本来实现流量变现,使得挖矿病毒成为不法分子利用最为频繁的攻击方式.新的挖矿攻击展现出了类似蠕虫的行为,并结合了高级攻击技术,以增加对目标服务器感染的成功率,通过利用永恒之蓝(EternalBlue).web攻击多种漏洞(如Tomcat弱口令攻击.Weblogic WLS组件漏洞.Jboss反序列化漏洞.Struts2远程命令执行等),导致大量服务器被感染挖矿程序的现象 . 0x01 应急场景 ​ 某天,安全管理员在登录安全设备巡检时,发现某台

导语 经常有用户报障系统被植入恶意程序,如挖矿软件.ddos攻击病毒.syn映射攻击病毒等,可以按照以下流程为用户排查入侵病毒类型: 一.定位病毒进程 对于用户反馈云主机性能卡顿,CPU和内存占用较高的情况: 执行TOP命令,查看占用CPU较高的异常进程,一般多为80%以上,有个别病毒占用CPU可能不高,但是从command名称明显不是系统进程或用户进程,如TSM,Lixsyn,ynlyvtpxia等. 如图所示: 注意运行异常进程的用户,大部分为root,也有可能为其他应用用户,一般为可以登录

挖矿的类型 主动挖矿:用户在个人电脑或服务器使用挖矿程序进行CPU,GPU计算,获取虚拟货币. 被动挖矿:挖矿病毒通过系统漏洞,恶意程序,弱口令等方式入侵服务器,设备感染挖矿病毒后会开始挖掘虚拟货币. 前端挖矿:JS挖矿,挖矿病毒嵌入到王爷的javascript中,用户访问网页时浏览器执行挖矿命令,现在比较少.不稳定,用户关闭浏览器挖矿程序可能就停止运行了. 常见挖矿事件的行为 访问恶意域名 CPU GPU占用率高 端口扫描行为 挖矿的排查思路 总体思路就是:隔离被感染主机   进程确认和系统排

ssh远程登录Linux卡慢的全过程排查及解决方案 前言: 在linux操作系统使用过程中偶然一次感到使用ssh远程连接软件连接操作系统需要等待许久,第一次没在意,第二次也没在意,第三次有点忍受不住了,就抽时间想解决掉这个问题,顺便写下这篇博文已帮助更多的人解决次烦恼. ssh慢普遍原因是因为DNS解析导致,如果还不行那就查看ssh远程登录的全过程.那么,实战正式开始~ 测试环境: CentOS -.el6.x86_64 更改ssh配置文件设置禁用DNS解析: 1.在ssh服务端上更改/etc/

作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2013/12/17/drop-caches-under-linux-system-2.html 前一篇文章里已经描述了具体遇到的问题及一些解决方法.但是还有些疑问点没有搞清楚,进一步学习了Linux系统下内存的分配使用机制,这里有两个资料讲的比较全面: Where is the memory going? Memory wa