运维开发笔记整理-django日志配置

　　　　　　　　　　　　　　　　运维开发笔记整理-django日志配置

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

一.Django日志

　　Django使用python内建的logging模块打印日志，Python的logging配置由四个部分组成：

1>.记录器（Logger）

2>.处理程序（Handler）

3>.过滤器（Filter）

4>.格式化（Formatter）

　　更多关于logging模块的配置信息，详情请参考：https://yiyibooks.cn/xx/python_352/library/logging.html。

二.记录器（Logger）

1>.Logger为日志系统的入口。每个logger命名都是bucket，你可以向这个bucket写入需要处理的消息；

2>.每个logger都有一个日志级别。日志级别表示该logger将要处理的消息的严重性。Python定义以下几种日志级别：

　　DEBUG：
　　　　　　用于调试目的的底层系统信息

　　INFO：
　　　　　　普通的系统信息

　　WARNING：
　　　　　　表示出现一个较小的问题

　　ERROR：
　　　　　　表示出现一个较大的问题

　　CRITICAL：
　　　　　　表示出现一个致命的问题

3>.写入logger的每条消息都是一条日志。每条日志也具有一个日志级别，它表示对应的消息的严重性。每个日志记录还可以包含描述正在打印的时间的元信息；

4>.当一条消息传递给logger是，消息的日志级别将与logger的日志级别进行比较。如果消息的日志级别大雨等于logger的日志级别，该消息将会往下继续处理。如果小雨，该消息将被忽略；

5>.Logger一旦决定消息需要处理，它将传递消息给一个Handler；

三.logger的日志级别

级别    　　　　　　　　值    　　　　　　描述

CRITICAL    　　　　  50    　　　　关键错误/消息

ERROR    　　　　　　  40    　　　　错误

WARNING    　　　　　　30    　　　　警告消息

INFO    　　　　　　　 20    　　　　通知消息

DEBGU    　　　　　　　10    　　　　调试

NOTSET    　　　　　　 0    　　　　 无级别

四.Logger配置

　　logger对应的值是个字典，其每一个键都是logger的名字，每一个值又是个字典，描述了如何配置对应的Logger实力。

level（可选的）：

    logger的级别。

propagate（可选的）：

    logger的传播设置。

filters（可选的）：

    logger的filter的标识符的列表。

handllers（可选的）：

    logger的handler的标识符的列表。

LOGGING = {

    'loggers': {

        'devops': {

            'handlers': ['file_handler', 'console_handler'],

            'level': 'DEBUG',

        },

    },

}

Logger配置示例

　　想要了解更多logger，详情请参考：https://yiyibooks.cn/xx/python_352/library/logging.html#logger-objects。

五.处理程序（Handler）

1>.Handler决定如何处理logger中的每条消息。它表示一个特定的日志行为，例如将消息写到屏幕上，写到文件中或者写到网络socket。

2>.与logger一样，handler也有一个日志级别。如果消息的日志级别小雨handler的级别，handler将忽略该消息。

3>.Logger可以有多个handler，而每个handler可以有不同的日志级别。利用这种方式，可以根据消息的重要性提供不同形式的处理。

"handlers": {

        "file": {

            "level": "DEBUG",

            "class": "logging.handlers.TimedRotatingFileHandler",

            "filename": os.path.join(BASE_DIR, "logs", "debug.log"),

            "when":"S",

            "interval":5,

            "formatter": "default"

        },

},

Handler示例

　　想要了解更多handler，详情请参考：https://yiyibooks.cn/xx/python_352/library/logging.html#handler-objects。

　　想要了解更多loggin-handler，详情请参考：https://yiyibooks.cn/xx/python_352/library/logging.handlers.html。

六.过滤器（Filters）

1>.Filter用于对从logger传递给handler的日志记录进行额外的控制。

2>.默认情况下，满足日志级别的任何消息都将被处理。通过安装一个filter，你可以对日志处理添加额外的条件。例如，你可以安装一个filter，只允许处理来自特定源的ERROR消息；

3>.Filters还可以用于修改将要处理的日志记录的优先级。例如，如果日志记录满足特定的条件，你可以编写一个filter将日志记录从ERROR将为WARNING（我想说然而并没有什么乱用！）；

4>.Filters可以安装在logger是那个或者多个handler上；多个filter可以串联起来实现多层filter行为；

七.格式化（Formatters）

　　日志记录需要转换成文本。Formatter表示文本的格式。Fomatter通常由包含日志记录属性的Python格式字符串组成；你也可以编写自定义的fomatter来实现自己的格式。

LOGGING = {

    'formatters': {

        ‘devops’:{

            'format': '%(asctime)s - %(pathname)s:%(lineno)d[%(levelname)s] - %(message)s'

        }

        'simple': {

            'format': '%(asctime)s %(levelname)s %(message)s'

        },

     },

}

Formatters的案例展示

　　更多formatters，详情请参考：https://yiyibooks.cn/xx/python_352/library/logging.html#formatter-objects。

Format日志消息格式                    　　　　描述

%(name)s                            　　　　记录器的名称

%(levelno)s                                数字形式的日志记录级别

%(levelname)s                              日志记录级别的文本名称

%(filename)s                             　执行日志记录调用的源文件的文件名称

%(pathname)s                             　执行日志记录调用的源文件的路径名称

%(funcName)s                            　 执行日志记录调用的函数名称

%(module)s                            　　 执行日志记录调用的模块名称

%(lineno)s                            　　 执行日志记录调用的行号

%(created)s                            　　执行日志记录的时间

%(asctime)s                            　　日期和时间

%(msecs)s                            　　　毫秒部分

%(thread)s                            　　 线程ID

%(threadName)s                        　　 线程名称

%(process)s                            　　进程ID

%(message)s                            　　记录的消息

八.Django内置logger

1>.django

　　获取所有日志。

2>.django.request

　　处理与请求相关的日志，5xx响应报出error，400报出WARNING日志。

3>.django.db.backends

　　处理与数据库之间的交互的日志。

4>.django.security.*

　　处理与安全相关的日志。

5>.django.db.backends.schemea

　　处理数据库迁移时的日志。

　　想要了解更多Django内置的logger详情请参考：https://docs.djangoproject.com/en/1.11/topics/logging/#id3

九.使用python的logging模块案例展示

"""DevOps URL Configuration

The `urlpatterns` list routes URLs to views. For more information please see:

    https://docs.djangoproject.com/en/1.11/topics/http/urls/

Examples:

Function views

    1. Add an import:  from my_app import views

    2. Add a URL to urlpatterns:  url(r'^$', views.home, name='home')

Class-based views

    1. Add an import:  from other_app.views import Home

    2. Add a URL to urlpatterns:  url(r'^$', Home.as_view(), name='home')

Including another URLconf

    1. Import the include() function: from django.conf.urls import url, include

    2. Add a URL to urlpatterns:  url(r'^blog/', include('blog.urls'))

"""

from django.conf.urls import url,include

from django.contrib import admin

urlpatterns = [

    url(r'^admin/', admin.site.urls),

    url(r"^dashboard/",include("dashboard.urls"))

]

DevOps中的urls.py文件内容

#！/usr/bin/env python

#_*_conding:utf-8_*_

#@author :yinzhengjie

#blog:http://www.cnblogs.com/yinzhengjie/tag/python%E8%87%AA%E5%8A%A8%E5%8C%96%E8%BF%90%E7%BB%B4%E4%B9%8B%E8%B7%AF/

from django.conf.urls import url

from . import  views

urlpatterns = [

    url(r"^login/",views.LoginView.as_view()),

    url(r"^index/", views.MyPageView.as_view()),

]

dashboard中的urls.py文件内容

"""

Django settings for DevOps project.

Generated by 'django-admin startproject' using Django 1.11.11.

For more information on this file, see

https://docs.djangoproject.com/en/1.11/topics/settings/

For the full list of settings and their values, see

https://docs.djangoproject.com/en/1.11/ref/settings/

"""

import os

# Build paths inside the project like this: os.path.join(BASE_DIR, ...)

BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))

# Quick-start development settings - unsuitable for production

# See https://docs.djangoproject.com/en/1.11/howto/deployment/checklist/

# SECURITY WARNING: keep the secret key used in production secret!

SECRET_KEY = 'fobwai!6%)9$$-*+&5v9-s_p3-e5=5jb9%7ko131o_g&eu8d+@'

# SECURITY WARNING: don't run with debug turned on in production!

DEBUG = True

ALLOWED_HOSTS = ["*"]

# Application definition

INSTALLED_APPS = [

    'django.contrib.admin',

    'django.contrib.auth',

    'django.contrib.contenttypes',

    'django.contrib.sessions',

    'django.contrib.messages',

    'django.contrib.staticfiles',

    'dashboard.apps.DashboardConfig',

]

MIDDLEWARE = [

    'django.middleware.security.SecurityMiddleware',

    'django.contrib.sessions.middleware.SessionMiddleware',

    'django.middleware.common.CommonMiddleware',

    # 'django.middleware.csrf.CsrfViewMiddleware',

    'django.contrib.auth.middleware.AuthenticationMiddleware',

    'django.contrib.messages.middleware.MessageMiddleware',

    'django.middleware.clickjacking.XFrameOptionsMiddleware',

]

ROOT_URLCONF = 'DevOps.urls'

TEMPLATES = [

    {

        'BACKEND': 'django.template.backends.django.DjangoTemplates',

        'DIRS': [os.path.join(BASE_DIR, 'templates')]

        ,

        'APP_DIRS': True,

        'OPTIONS': {

            'context_processors': [

                'django.template.context_processors.debug',

                'django.template.context_processors.request',

                'django.contrib.auth.context_processors.auth',

                'django.contrib.messages.context_processors.messages',

            ],

        },

    },

]

WSGI_APPLICATION = 'DevOps.wsgi.application'

# Database

# https://docs.djangoproject.com/en/1.11/ref/settings/#databases

DATABASES = {

    'default': {

          'ENGINE': 'django.db.backends.mysql',  # 连接的数据库类型

          'HOST': '127.0.0.1',                      # 连接数据库的地址

          'PORT': 3306,                             # 端口

          'NAME': "devops",                         # 数据库名称

          'USER': 'root',                          # 用户

          'PASSWORD': 'yinzhengjie'               # 密码

    }

}

# Password validation

# https://docs.djangoproject.com/en/1.11/ref/settings/#auth-password-validators

AUTH_PASSWORD_VALIDATORS = [

    {

        'NAME': 'django.contrib.auth.password_validation.UserAttributeSimilarityValidator',

    },

    {

        'NAME': 'django.contrib.auth.password_validation.MinimumLengthValidator',

    },

    {

        'NAME': 'django.contrib.auth.password_validation.CommonPasswordValidator',

    },

    {

        'NAME': 'django.contrib.auth.password_validation.NumericPasswordValidator',

    },

]

# Internationalization

# https://docs.djangoproject.com/en/1.11/topics/i18n/

LANGUAGE_CODE = 'en-us'

TIME_ZONE = 'UTC'

USE_I18N = True

USE_L10N = True

USE_TZ = True

# Static files (CSS, JavaScript, Images)

# https://docs.djangoproject.com/en/1.11/howto/static-files/

STATIC_URL = '/static/'

LOGGING = {

    "version": 1,

    'disable_existing_loggers': False,          #一般情况下设置为False，表示不禁用Django的默认配置

    'formatters': {

        'devops': {

            'format': '[%(asctime)s] [%(process)d] [%(thread)d] [%(filename)16s:%(lineno)4d] [%(levelname)-6s] %(message)s'

        },

        'simple': {

            'format': '%(asctime)s %(levelname)s %(message)s'

        },

        'default': {

            'format': '%(asctime)s %(levelname)s  %(pathname)s [ %(lineno)s] %(message)s',

            "datefmt":"%Y-%m-%d %H:%M:%S"

        }

    },

    "handlers": {

        "console": {

            "level": "DEBUG",

            "class": "logging.StreamHandler",

            "formatter": "simple"

        },

        "file": {

            "level": "DEBUG",

            "class": "logging.FileHandler",

            "filename": os.path.join(BASE_DIR, "logs", "django.log"),

            "formatter": "default"

        },

    },

    "loggers":{

        "yinzhnegjie-devops": {

            "level": "DEBUG",                           #配置日志级别

            "handlers": ["console","file"],            #指定具体的对象去写

            'propagate': False,                         #是否向上传播日志

        },

    },

}

DevOps中的settings.py文件内容

　　dashboard的APP对应的views.py视图函数编写的代码如下：

#！/usr/bin/env python

#_*_conding:utf-8_*_

#@author :yinzhengjie

#blog:http://www.cnblogs.com/yinzhengjie/tag/python%E8%87%AA%E5%8A%A8%E5%8C%96%E8%BF%90%E7%BB%B4%E4%B9%8B%E8%B7%AF/

from django.http import HttpResponse,JsonResponse

from django.shortcuts import  render

from django.views import View

from django.contrib.auth.models import User

import logging

# 注意，下面的“yinzhnegjie-devops”字符串摘自“setting.py”中LOGGING对应的loggers所属的value值。换句话说，就是这个字符串必须在setting.py中定义！

logger = logging.getLogger("yinzhnegjie-devops")

class LoginView(View):

    def get(self,request):

        return render(request,"login.html")

    def post(self,request):

        print("调用了POST方法！")

        return HttpResponse("post...")

class MyPageView(View):

    def get(self,request,*args,**kwargs):

        #我们在代码中写入日志

        logger.debug("这是第一条日志")

        #定义每个页码显示信息的条数

        Number_of_per_page = 10

        try:

            #获取到用户传递过来的查询页码

            page = int(request.GET.get("page",1))

        except:

            #如果用户没有传递要查询的页码，我们这里给其设置一个默认值1，即显示第一页。

            page = 1

        #定义查询的起始位置

        end = page * 10

        start = end - 10

        #定义查询的语句，注意这里并没有去数据库直接查询语句，这里只是定义好了要查询的SQL语句

        queryset =  User.objects.all()[start:end]

        #触发SQL语句，并将查询的结果转换成JSON格式

        data = list(queryset.values("id","username","email"))

        return JsonResponse(data,safe=False)

　　访问浏览器，查看对应的服务器URL配置，如下图所示：

十.使用Django内置的logger案例展示

"""DevOps URL Configuration

The `urlpatterns` list routes URLs to views. For more information please see:

    https://docs.djangoproject.com/en/1.11/topics/http/urls/

Examples:

Function views

    1. Add an import:  from my_app import views

    2. Add a URL to urlpatterns:  url(r'^$', views.home, name='home')

Class-based views

    1. Add an import:  from other_app.views import Home

    2. Add a URL to urlpatterns:  url(r'^$', Home.as_view(), name='home')

Including another URLconf

    1. Import the include() function: from django.conf.urls import url, include

    2. Add a URL to urlpatterns:  url(r'^blog/', include('blog.urls'))

"""

from django.conf.urls import url,include

from django.contrib import admin

urlpatterns = [

    url(r'^admin/', admin.site.urls),

    url(r"^dashboard/",include("dashboard.urls"))

]