lnode满,维护记录
df 17% 正常
df -i 100%
inode耗尽。
find */ ! -type l | cut -d / -f | uniq -c
查出占用lnode最大的目录是
/var/spool/exim4/input
居然有15W多个小文件
exim4是邮件服务器。
奇怪,这服务器根本就没有作邮件服务。
如果不是出现这次的异常,我根本不知道服务器有装exim4。
删光后,文件又一点点冒出来了。
打开其中一看。立马闻到了“坏味道”。
捉到狐狸尾巴了。
1a5aTr-0006zH-5Z-D/home/ftp_tmp/-----.tmp
Traceback (most recent call last):
File "/root/name/bcp_76_wb.py", line , in <module>
ftp.connect("61.163.86.10","",)
File "/usr/lib/python2.7/ftplib.py", line , in connect
self.sock = socket.create_connection((self.host, self.port), self.timeout)
File "/usr/lib/python2.7/socket.py", line , in create_connection
raise err
socket.error: [Errno ] Connection refused
这明明就是错误日志,而且是python的,服务器上确实有跑其他开发的人员的python项目。
再打开几个
1a5Aso-0003rm-UL-D
&* 数目 :
&*数目 :
(vsFTPd 2.3.)
20151205192002100_139_410100_748836377_004.log
20151205192002100_139_410100_748836377_004.log.ok
20151205192002100_139_410100_748836377_009.log
20151205192002100_139_410100_748836377_009.log.ok
20151205192002100_139_410100_748836377_011.log
20151205192002100_139_410100_748836377_011.log.ok
request ok
root@srv1-:/var/spool/exim4/input# vim 1aCPgF-0008U0--H -allow_unqualified_sender
-deliver_firsttime
-local
XX root@debian 166P Received: from root by srv1-.localhost with local (Exim 4.80)
(envelope-from <root@debian>)
id 1aCPgF-0008U0-
for root@debian; Fri, Dec :: +
* From: root (Cron Daemon)
032F From: root@debian (Cron Daemon)
* To: root
016T To: root@debian
Subject: Cron <root@srv1-> python /root/xiaoyun/audit_top_cron.py
Content-Type: text/plain; charset=UTF-
X-Cron-Env: <SHELL=/bin/sh>
X-Cron-Env: <HOME=/root>
X-Cron-Env: <PATH=/usr/bin:/bin>
X-Cron-Env: <LOGNAME=root>
050I Message-Id: <E1aCPgF-0008U0-@srv1-.localhost>
Date: Fri, Dec :: +
都是python的。
该服务器,有多个项目,我个人既开发又维护。
原因是
系统中有用户开启了cron,而cron中执行的程序有输出内容,输出内容会以邮件形式发给cron的用户,系统有装邮件服务器,则会写到邮件服务器的队列。如果没有邮件服务器会写入/var/spool/clientmqueue目录。
而python正好是cron启的,日志就全跑/var/spool/exim4/input了,把lnode用光了。
我个人负责go/nodejs/java项目,项目都写为服务开机启动
python的程序是由另一名人员开发部署,靠cron定时检测,检测未启则启动。
比开机启动要健壮,服务器运行了4个多月,出现了这个问题。
修改办法,把cron任务的输出重定向 即在计划任务后加上> /dev/null 2>&1
解决。
lnode满,维护记录的更多相关文章
- Gitlab维护记录
目前互联网公司主流的代码仓库统是gitlab,类似github的实现,维护gitlab已经有两年多的时间, 下面说一下维护过程中的注意点,以及如何维护更好. 分别是搭建,首先得搭建起来,不然怎么玩,其 ...
- Gerrit日常维护记录
Gerrit代码审核工具是个好东西,尤其是在和Gitlab和Jenkins对接后,在代码控制方面有着无与伦比的优势. 在公司线上部署了一套Gerrit系统,在日常运维中,使用了很多gerrit命令,在 ...
- 阿里云 django的一次web维护记录
首先, 丢给我一个阿里云的server的账号/password,之前没有玩过阿里云,想想应该也是ssh服务来远程登陆. 环境: centos+nginx+uwsgi+python2.7+django. ...
- UX168办公本地环境维护记录
上班到公司 1.打考勤靠.或处理考勤异常 2.钉钉 3.邮件. 4.禅道系统 5.开启nginx.node.monogo服务 5.1.开启nginx服务 /etc/init.d/apache2 sto ...
- vsftpd日志配置及查看——可以将vsftpd记录在系统日志里
vsftpd日志配置及查看 vsftpd ftp服务器的日志设置,可以通过修改主配置文件/etc/vsftpd.conf实现.主配置文件中与日志设置有关的选项包括xferlog_enable .xfe ...
- 泰克 Tektronix THS720A 示波器 显示屏维修记录
THS720A 示波器 显示屏维护记录 打开后看到显示屏是 LM32P10 的型号,在网上找了一圈都要 1000 块左右. 看了一个规格书 Sharp 的,已经停产. 下一步看看有没有替代的.
- mysql 记录一次内存清理
摘自:https://blog.csdn.net/wyzxg/article/details/7279986/ 摘要:Linux对内存的管理与Windows不同,free小并不是说内存不够用了,应该看 ...
- JVM-3.内存
目录 一.运行时数据区 二.内存使用细节:以HotSpot的堆为例 三.实战:OutOfMemoryError异常 四.垃圾收集器(堆+方法区)与内存分配策略 一.运行时数据区 1.程序计 ...
- [13]Windows 内核情景分析 --- 网络通信
典型的基于tcpip协议套接字方式的网络通信模块层次: 应用程序 socket api WS2_32.dll socket irp Afd.sys tdi irp Tcpip.sys 回调函数接口 各 ...
随机推荐
- js的数据类型
关于js中的几大数据类型,估计大家都很熟悉:String.Number.Array.Bollean.Null.Undifine.Object: 从这其中,可以延伸出一个感念:基本数据类型和引用类型: ...
- 怎么解决svn清理失败且路径显示乱码问题
http://jingyan.baidu.com/article/295430f1d728830c7e0050f9.html 上面这个网址是百度经验给的方法,我也是参照这个方式解决了问题,虽然是解决了 ...
- Window 对象详解 转自 http://blog.csdn.net/jcx5083761/article/details/41243697
详解HTML中的window对象和document对象 标签: HTMLwindowdocument 2014-11-18 11:03 5884人阅读 评论(0) 收藏 举报 分类: HTML& ...
- python容器类型:列表,字典,集合等
容器的概念我是从C++的STL中学到的 什么是容器? 容器是用来存储和组织其他对象的对象. 也就是说容器里面可以放很多东西,这些东西可以是字符串,可以是整数,可以是自定义类型,然后把这些东西有组织的存 ...
- ubuntu 14.4 中文语言包安装问题
1.安装前,请选择更新源,在系统设定 system setting 里,选择software and updates 里,选择中国的源,用于快速更新语言包 2.在language support里选择 ...
- C#中获得机器的字符编码webName信息
在一次解决编码的问题过程中,发现Encoding.GetEncoding("GB2312") == Encoding.GetEncoding("GBK"),到底 ...
- Portable Basemap Server:多数据源多客户端的底图服务器
Portable Basemap Server:多数据源多客户端的底图服务器 [poll id=”1″]2014.3.8更新v3.1~在线切片转换为MBTiles时,增加RecreateEmptyCa ...
- c++多态
#include <cstdio> using namespace std; class Base { public: virtual void A() { puts("Base ...
- 2016 ICPC China-Final 现场赛总结
距离比赛结束快有一个礼拜了才抽出时间来写这篇总结.今年比赛打了也有5场了(4场区域赛+1场省赛),也取得了不错的成绩(区域赛两银),总的来说第一年就取得这成绩还是挺高兴的.我们队,我自己都渐渐的趋于成 ...
- hdu5834
题目让求得是从任意一点出发可以不回来得到的最大的价值 这应该不算特别水的树形dp了,它不止要从上往下dfs,后来海要重新dfs,根据父亲节点更新儿子节点,算是正常的树形dp中比较简单的吧. 思路: 先 ...