django日志使用TimeRotateFileHandler

如果使用django的settings.py设置日志会产生一些问题。

问题描述

报错信息如下：

Traceback (most recent call last):
File "C:\Python27\lib\logging\handlers.py", line 78, in emit
self.doRollover()
File "C:\Python27\lib\logging\handlers.py", line 141, in doRollover
os.rename(self.baseFilename, dfn)
WindowsError: [Error 32] The process cannot access the file because it is being used by another process

使用windows自带的资源管理器查看占用该文件的进程，在CPU标签页中搜索文件名即可：

可以发现有两个进程同时占用日志文件，打开任务管理器也能找到两个Python进程。如果杀死其中一个，另一个进程也会随之消失。

解决方法

python manage.py runserver --noreload

这个命令表示不启动监控文件变化的进程。

原因

Django默认启用两个进程，一个进程用来检测文件变化，另一个进程是正经的服务器进程。settting.py这个文件被加载了两次，也就是日志文件打开了两次，如果是服务器进程先启动，则看不出毛病来；如果是监控进程首先打开了从settings.py加载了日志，那么正经服务器进程就无法再次加载日志了。

代码

如果手动设置日志

from logging.handlers import TimedRotatingFileHandler
def get_log():
    LOG_DIR = os.path.join(os.path.expanduser("~"), "json_manager", "logs")
    if not os.path.exists(LOG_DIR):
        os.mkdir(LOG_DIR)
    logHandler = TimedRotatingFileHandler(os.path.join(LOG_DIR, "crawler.log"),
                                          when='D',  # 以when为单位
                                          interval=3,  # 每个日志文件为interval个when
                                          backupCount=15,  # 保留15个when
                                          encoding='utf8')
    logFormat = logging.Formatter("%(levelname)s %(asctime)s %(message)s")
    logHandler.setFormatter(logFormat)
    log = logging.getLogger("crawler")  # 日志只允许在当前进程中访问
    log.addHandler(logHandler)
    log.setLevel("INFO")
    return log

参考资料

Django logging with RotatingFileHandler error