当scrapy爬取完成以后会发送详细信息到邮箱

1.首先编写邮件发送模块

#!usr/bin/env python
# -*- coding:utf-8 -*-
"""
@file: emailHandler.py
@time: 2018/04/21
"""
# 邮件服务封装 import smtplib
from email.mime.text import MIMEText
from email.utils import formataddr status = {} # 状态码
pipeline_item = {"item": 0, # 成功item项
"item_error": 0, # 失败item项
"error_info": "" # 失败原因
} spider_time = {"start": "", "end": ""} # 开始结束时间 class EmailHandler(object): def __init__(self, user, password, type_=0):
"""
:param user:str 发送人邮箱地址(用户名)
:param password:str 发送人申请的授权码
:param type_:int 0 为QQ邮箱 1 为163邮箱
"""
self.__QQ = {'smtp': 'smtp.qq.com', 'port': 465}
self.__163 = {'smtp': 'smtp.163.com', 'port': 25}
self.user = user
self.password = password
if type_ == 0:
self.server = smtplib.SMTP_SSL(self.__QQ['smtp'], self.__QQ['port'])
self.server.login(self.user, self.password)
elif type_ == 1:
self.server = smtplib.SMTP_SSL(self.__163['smtp'], self.__163['port'])
self.server.login(self.user, self.password) def send_mail(self, to, subject, content=None):
"""
:param to:str 接收人邮箱地址
:param subject:str 邮件标题
:param content:str 邮件内容
:return:bool True 成功 False 失败
"""
try:
if not content:
content = "\r\n"
for key in status.keys():
content += "状态码%s:%s次\r\n" % (key, status.get(key))
content += "\r\n"
content += "存入数据库成功条数:%s 条\r\n存入数据库失败条数:%s 条\r\n" % (pipeline_item.get("item"),
pipeline_item.get('item_error')) if pipeline_item.get('item_error') > 0:
content += "失败原因:%s" % pipeline_item.get('error_info')
content += "\r\n" content += "爬虫启动时间:%s \r\n爬虫结束时间:%s" % (spider_time.get("start"), spider_time.get("end"))
msg = MIMEText(content, 'plain', 'utf-8')
msg['From'] = formataddr(['', self.user])
msg['To'] = formataddr(['', to])
msg['Subject'] = subject self.server.sendmail(self.user, to, msg.as_string())
print("【%s】邮件发送成功" % subject)
return True
except Exception as f:
print("【%s】邮件发送失败,请检查信息" % subject)
return False

  

2.提供邮件提示所有数据

2.1在下载中间件中添加如下代码

from xxx.emailHandler import *
def process_response(self, request, response, spider):
# Called with the response returned from the downloader. # Must either;
# - return a Response object
# - return a Request object
# - or raise IgnoreRequest
if response.status in status.keys():
status[response.status] += 1
else:
status[response.status] = 0
return response

2.2 在管道中加入如下代码

from xxx.middlewares import pipeline_item
def process_item(self, item, spider):
client = MongoClient(self.host, self.port)
db_auth = client.xiaosidb
db_auth.authenticate(self.user, self.passwd)
db = client[self.db]
table = db[self.table]
# data = dict(item)
try:
table.insert(dict(item))
pipeline_item['item'] += 1
except Exception as e:
pipeline_item['item_error'] += 0
pipeline_item['error_info'] = e
return item

2.3在spiders 爬虫程序中加入如下代码

from xxx.middlewares import *
def start_requests(self):
spider_time['start'] = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))
def close(spider, reason):
spider_time['end'] = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))
to_sender = 'xxxx' # 要发送的邮箱
mail = EmailHandler(user='xxxx', password='xxx')
mail.send_mail(to_sender, '邮件标题')

3. 当爬虫运行完毕以后会发送邮件

python-邮件提醒功能的更多相关文章

  1. Jenkins 实现前端自动打包,自动部署代码及邮件提醒功能

    在之前的公司,我们前端使用webpack构建项目,项目构建完成后,我们会使用ftp或linux的一些命令工具上传我们的文件到服务器上,这种方式虽然是可以,但是最近面试的时候,人家会问我前端如何部署项目 ...

  2. Python邮件发送功能

    import smtplibfrom email.mime.text import MIMEText_user = "1147016115@qq.com"#发件人_pwd = &q ...

  3. ubuntu下为thunderbird添加邮件提醒功能(转载)

    转自:http://blog.csdn.net/zhangt85/article/details/9154525 1.“工具”-->“附件组件” 2.搜索“new_mail_attention” ...

  4. [转载]TFS发送邮件提醒功能

    第一次使用TFS 2010,发现有Project Alerts功能,就是项目组工程中若有任何改动时,TFS Server会自动发邮件提醒.Microsoft提供的配置方法(http://msdn.mi ...

  5. EWS Managed API 2.0 设置获取邮件自动回复功能

    摘要 最近要在邮件提醒功能中添加,自动回复的功能.在移动端获取用户在outlook上是否开启了自动回复功能,如果用户在outlook上开启了自动回复功能, 获取用户自动回复的内容,如果没有开启,用户可 ...

  6. Python自定义任务发邮件提醒

    前言 在工作中,有时会有一些定期需要执行的任务或在将来某一天需要执行的任务,为避免疏漏,设计个小工具,发邮件提醒自己去处理. 方案简介 1.建立一个Excel文件,里面定义好待提醒的任务 2.建立一个 ...

  7. Python 实现接口类的两种方式+邮件提醒+动态导入模块+反射(参考Django中间件源码)

    实现接口类的两种方式 方式一 from abc import ABCMeta from abc import abstractmethod class BaseMessage(metaclass=AB ...

  8. Python 实现抽象类的两种方式+邮件提醒+动态导入模块+反射(参考Django中间件源码)

    实现抽象类的两种方式 方式一 from abc import ABCMeta from abc import abstractmethod class BaseMessage(metaclass=AB ...

  9. Python-定时爬取指定城市天气(二)-邮件提醒

    目录 一.概述 二.模块重新划分 三.优化定时任务 四.发送邮件 五.源代码 一.概述 上一篇文章python-定时爬取指定城市天气(一)-发送给关心的微信好友中我们讲述了怎么定时爬取城市天气,并发送 ...

  10. PyQt5实现邮件合并功能(GUI)

    1. 实战Word批量 需要处理批量替换word的一些数据,数据源从Excel中来. Excel的百分数会变为数字,以及浮点数会多好多精度,为了原汁原味的数据,直接复制数据到文本文件.通过\t来分隔即 ...

随机推荐

  1. java 日常学习记录-反射

    Hero类 package helloworld; public class Hero { public String name; //姓名 public float hp; //血量 public ...

  2. PHP Excel使用方法

    下面是总结的几个使用方法 include 'PHPExcel.php'; include 'PHPExcel/Writer/Excel2007.php'; //或者include 'PHPExcel/ ...

  3. 记一次被吊打的排位赛(writeup)

    XMAN通行证 给了一串疑似base64的东西: a2FuYmJyZ2doamx7emJfX19ffXZ0bGFsbg== 解密后得到: kanbbrgghjl{zb____}vtlaln 想到应该是 ...

  4. TensorFlow object detection API

    cloud执行:https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/running_pet ...

  5. <转>Go语言TCP Socket编程

    授权转载: Tony Bai 原文连接: https://tonybai.com/2015/11/17/tcp-programming-in-golang/ Golang的主要 设计目标之一就是面向大 ...

  6. MIUI11系统怎么样启用root权限的教程

    MIUI11系统如何启用了ROOT超级权限?做开发的人都知道,安卓机器有ROOT超级权限,一旦手机启用了root相关权限,可以实现更多的功能,举个例子做开发的人公司的营销部门的妹纸,使用较多营销工具都 ...

  7. Node js redis

    const redis = require('redis');//redis , '172.16.4.2'); //redis操作 client.set("hello", &quo ...

  8. C++ this指针

    成员函数不能定义 this 形参,而是由编译器隐含地定义.成员函数的函数体可以显式使用 this 指针,但不是必须这么做.如果对类成员的引用没有限定,编译器会将这种引用处理成通过 this 指针的引用 ...

  9. .net 第一次请求比较慢

    为了提高访问速度,也便有了预编译. 关于ASP.NET网站:每个页面都编译成一个.dll文件 用Assembly.GetExecutingAssembly().Location 查看 而ASP.NET ...

  10. PLS:利用PLS(两个主成分的贡献率就可达100%)提高测试集辛烷值含量预测准确度并《测试集辛烷值含量预测结果对比》—Jason niu

    load spectra; temp = randperm(size(NIR, 1)); P_train = NIR(temp(1:50),:); T_train = octane(temp(1:50 ...