1.知识点 """ logging : scrapy: settings中设置LOG_LEVEL="WARNING" settings中设置LOG_FILE="./log.log" #设置日志保存的位置,设置后在终端不会显示日志内容 import logging 实例化一个logger的方式在任何文件中使用logger输出内容 logger = logging.getLogger(__name__) #实例化 普通项目中: import…

logging 日志模块 http://python.usyiyi.cn/python_278/library/logging.html 中文官方http://blog.csdn.net/zyz511919766/article/details/25136485 清晰明了,入门必备http://my.oschina.net/leejun2005/blog/126713 继承讲的很棒http://my.oschina.net/u/126495/blog/464892 实例分析 一:概述 在实际项目…

官网介绍:https://docs.python.org/2/library/logging.html 一. 基础使用 1.1 logging使用场景 日志是什么?这个不用多解释.百分之九十的程序都需要提供日志功能.Python内置的logging模块,为我们提供了现成的高效好用的日志解决方案.但是,不是所有的场景都需要使用logging模块,下面是Python官方推荐的使用方法: 任务场景 最佳工具 普通情况下,在控制台显示输出 print() 报告正常程序操作过程中发生的事件 logging…

1.知识点 """" pipelines使用: 1.在spiders里面使用yield生成器 list_li = response.xpath("//div[@class='swiper-wrapper']//li") #print(list_li) for li in list_li: #print(li.extract_first()) item = { } item["name"] = li.xpath("./…

subprocess模块: - 可以通过python代码给操作系统终端发送命令, 并且可以返回结果. sub: 子    process: 进程 import subprocess while True: # 1.让用户输入终端命令 cmd_str = input('请输入终端命令:').strip() # Popen(cmd命令, shell=True, # stdout=subprocess.PIPE, stderr=subprocess.PIPE) # 调用Popen就会将用户的终端命令发…

前言:我们之前运行代码时都是将日志直接输出到控制台,而实际项目中常常需要把日志存储到文件,便于查阅,如运行时间.描述信息以及错误或者异常发生时候的特定上下文信息. logging模块介绍 ​ Python中自带的logging模块提供了标准的日志接口,在debug时使用往往会事半功倍.为什么不直接使用print去输出呢?这种方式对简单的脚本来说有用,对于复杂的系统来说相当于一个花瓶摆设,大量的print输出很容易被遗忘在代码里,并且print是标准输出,这很难从一堆信息里去判断哪些是你需要重点关…

环境的安装总是让人多愁善感,爱恨交叉... 本人安装环境:win7 64 + python2.7 先来几个网站 https://doc.scrapy.org/en/latest/intro/install.html  Scrapy的官网安装教程 安装的过程会出现需要C++9.0的环境,这个时候可以安装一个VS2012或者高级版本,但是有一个编译器C++9.0专为python2.7开发,所以就不需要安装VS了(个人非常讨厌VS,因为他的体量太大了)网址奉献上http://www.microsoft…

1.redis的使用,自己可以多学习下,个人也是在学习 https://www.cnblogs.com/ywjfx/p/10262662.html官网可以自己搜索下. 2.下载安装scrapy-redis pip install scrapy-redis 3.下载好了,就可以使用了,使用也很简单,只需要在settings.py配置文件添加一下四个 #######redis配置####### DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFi…

知识点 使用方法: 编写一个Downloader Middlewares和我们编写一个pipeline一样,定义一个类,然后在setting中开启 Downloader Middlewares默认的方法: process_request(self, request, spider): 当每个request通过下载中间件时,该方法被调用. process_response(self, request, response, spider): 当下载器完成http请求,传递响应给引擎的时候调用 1.学…

包 包: # 包是一系列模块文件的结合体,表现形式是文件夹,该文件夹内部通常会包含一个__init__.py文件,本质上还是一个模块 包呢,就是前两篇博客中提到的,模块的四种表现形式中的第三种 # 把一系列模块(.py文件)组合到一起的文件夹(包) 下文呢,也将把包与模块前面的模块知识对比展开. 首先,复习下执行文件导入模块发生的一些事 """ 1.先产生一个执行文件的名称空间 2.创建模块文件的名称空间 3.执行模块文件中的代码 将产生的名字放入模块的名称空间中 4.在执行…