python-简单邮件报警
在scrapy爬虫项目中经常遇到 爬取数据时报错无法及时处理 导致数据爬取不完整 只能先查看log才能发现报错
首先写一个简单的邮件发送模块
"""
@file: emailHandler.py
"""
1 #邮件服务封装 import smtplib
from email.mime.text import MIMEText
from email.utils import formataddr class EmailHandler(object): def __init__(self,user,password,type = 0):
"""
:param user:str 发送人邮箱地址(用户名)
:param password:str 发送人在QQ或163申请的授权码
:param type:int 0 为QQ邮箱 1 为163邮箱
"""
self.__QQ = {'smtp':'smtp.qq.com','port':465}
self.__163 = {'smtp':'smtp.163.com','port':25}
self.user = user
self.password = password
if type == 0:
self.server=smtplib.SMTP_SSL (self.__QQ['smtp'],self.__QQ['port'])
self.server.login (self.user,self.password)
elif type == 1:
self.server=smtplib.SMTP_SSL (self.__163['smtp'],self.__163['port'])
self.server.login (self.user,self.password) def send_mail(self,To,subject,content):
"""
:param To:str 接收人邮箱地址
:param subject:str 邮件标题
:param content:str 邮件内容
:return:bool True 成功 False 失败
"""
try:
msg = MIMEText(content,'plain','utf-8')
msg['From'] = formataddr(['spider邮件报警系统',self.user])
msg['To'] = formataddr(['',To])
msg['Subject'] = subject self.server.sendmail(self.user,To,msg.as_string())
print("【%s】邮件发送成功"%subject)
return True
except Exception as f:
print("【%s】邮件发送失败,请检查信息"%subject)
return False
需要指定以下几个参数
#邮箱信息
MAIL_CONFIG = {
'user':'xxxxx', #邮箱账号
'password':'xxxx', #邮箱授权码
'to_add':'xxx', #要发送的邮箱地址
'mail_title':'scrapy_标题' #邮件标题
}
本项目中主要使用的 pydispatch模块 绑定信号的方式发送邮件(代码片段)
from pydispatch import dispatcher
err_spider = object() def __init__(self):
#初始化邮件发送次数
self.mail_count = 0
dispatcher.connect(self.send_mail, signal=err_spider)
super(xxx, self).__init__() def send_mail(self, error):
"当spider出现error时发送邮件到邮箱"
if self.mail_count < 1:
mailmanager = EmailHandler(mail_conf.get('user', ''), mail_conf.get('password', ''))
mailmanager.send_mail(mail_conf.get('to_add', ''), mail_conf.get('mail_title', ''), 'spider出现错误请及时查看\r%s' % error)
self.mail_count += 1
准备工作已经完成,接下来就是在scrapy 爬取数据出现问题时 调用这个模块向指定邮箱发送邮件(代码片段)
#列表页数据
def parse(self, response):
#列表页条目
data_lists = response.xpath('//div[@id="listbox30"]/div')
try:
#最后一个div是分页数据
for data in data_lists[:-1]:
item = WangdaitianyanItem()
item['title'] = data.xpath('div[1]/div/div[1]/a/@title').extract_first() #标题
log.msg('[info] 正在爬取【%s】' % (item['title']), level=log.INFO)
item['img'] = data.xpath('div[2]/div/a/img/@data-src').extract_first() #封面图
item['introduction'] = data.xpath('div[1]/div/div[2]/text()').extract_first() #简介
item['source'] = data.xpath('div[1]/div/div[3]/div[1]/span[1]/a/text()').extract_first() #源
item['release_time'] = data.xpath('div[1]/div/div[3]/div[1]/span[3]/text()').extract_first() #发布时间
item['read_count'] = data.xpath('div[1]/div/div[3]/div[2]/span[2]/text()').extract_first() #回复数
item['comment_count'] = data.xpath('div[1]/div/div[3]/div[2]/span[5]/text()').extract_first() #评论数
#抓取详情页数据
#//news.p2peye.com/article-513444-1.html
url = data.xpath('div[1]/div/div[1]/a/@href').extract_first() #url
yield scrapy.Request(url='http:%s'%url, callback=self.details_page, meta={'item':item}) #分页部分
#如果检测不到下一页 不在请求
try:
next_page = data_lists[-1].xpath('div/a[contains(@title,"下一页")]/@href').extract_first() #拿去下一页url
yield scrapy.Request(url='https://news.p2peye.com%s'%next_page, callback=self.parse)
except Exception as e:
pass
except Exception as e:
#发送邮件
dispatcher.send(signal=err_spider, error=traceback.format_exc())
当爬虫出现问题时会以邮件的形式发送到邮箱
python-简单邮件报警的更多相关文章
- Python简单邮件发送源码
环境: Python27 主要代码: # -*- coding: utf-8 -*- ''' Created on 2016年10月18日 @author: xuxianglin ''' import ...
- python实现监控URL的一个值小于规定的值--邮件报警
监控URL的一个值小于规定的值--邮件报警 #!/usr/bin/env python #-*- coding:utf-8 -*- __author__ = 'liudong' import urll ...
- [转]简单三步,用 Python 发邮件
https://zhuanlan.zhihu.com/p/24180606 0. 前言 发送电子邮件是个很常见的开发需求.比如你写了个监控天气的脚本,发现第二天要下雨,或者网站上关注的某个商品降价了, ...
- Python简单实现邮件群发
Python简单实现邮件群发 import smtplib from email.mime.text import MIMEText from email.utils import formatadd ...
- Python遍历目录下所有文件的最后一行进行判断若错误及时邮件报警-案例
遍历目录下所有文件的最后一行进行判断若错误及时邮件报警-案例: #-*- encoding: utf-8 -*- __author__ = 'liudong' import linecache,sys ...
- python 邮件报警
为了以后方便使用邮件报警 我这边直接写入一推报警模板 方便以后使用 加入模块 import smtplib from email.mime.text import MIMEText from emai ...
- 简单监控网站访问是否正常的shell脚本,邮件报警。网站恢复后继续运行。
#!/bin/bash # 使用curl检查网页是否可以正常访问,如果无法访问则发邮件. SITE=crm.bjzgjh.com PROT=80 URL="http://$SITE:$PRO ...
- Python通过yagmail和smtplib模块发送简单邮件
SMTP是发送邮件的协议,Python内置对SMTP的支持,可以发送纯文本邮件.HTML邮件以及带附件的邮件.python发邮件需要掌握两个模块的用法,smtplib和email,这俩模块是pytho ...
- 分布式监控系统Zabbix-3.0.3-完整安装记录(5)-邮件报警部署
前面几篇陆续介绍了zabbix3.0.3监控系统的部署和监控项配置,今天这里分享下zabbix3.0.3的邮件报警的配置过程~由于采用sendmail发送邮件,常常会被认为是垃圾邮件被拒,所以不推荐这 ...
- zabbix 报警方式之 邮件报警(4)
一.为什么要自定义邮件脚本报警? 灵活,方便.可以自定义过滤信息. 下面是使用不同方式的邮件报警,一个是利用sendEmail程序来发送报警邮件,第二个是利用python脚本来发送邮件. 二.send ...
随机推荐
- Java基础13-字符串缓冲流;字节流
作业解析 描述HashMap内部实现原理 HashMap是一种存储机制,存储的是key-value对,key用来保证元素的唯一性.通过hash算法将要存储的对象打散,分布在不同的区间中. 当添加对象时 ...
- ZOJ 4110 Strings in the Pocket (马拉车+回文串)
链接:http://acm.zju.edu.cn/onlinejudge/showProblem.do?problemCode=4110 题目: BaoBao has just found two s ...
- GYM 100608G 记忆化搜索+概率 2014-2015 Winter Petrozavodsk Camp, Andrew Stankevich Contest 47 (ASC 47)
https://codeforces.com/gym/100608 题意: 两个人玩游戏,每个人有一个长为d的b进制数字,两个人轮流摇一个$[0,b-1]$的骰子,并将选出的数字填入自己的d个空位之中 ...
- 利用android studio 生成 JNI需要的动态库so文件
JNI: Java Native Interface, 提供了java语言和其他语言(例如c和c++)进行相互调用的方式. 本文是用java调用c生成的so模式.其中,编译so文件过程如下: 1) ...
- asp.net core 的 razor pages 如何使用ajax调用后台方法
Razor 是一种允许您向网页中嵌入基于服务器的代码(Visual Basic 和 C#)的标记语法. 当网页被写入浏览器时,基于服务器的代码能够创建动态内容. 在网页加载时,服务器在向浏览器返回页面 ...
- SpringBoot相关错误
1.org.springframework.boot.builder.SpringApplicationBuilder.<init>([Ljava/lang/Object;)V 搭建spr ...
- 卢卡斯定理——应用hdu4349
#include<bits/stdc++.h> using namespace std; int n; int main(){ while(cin>>n){ ; while(n ...
- linux 相关( 随时更新)
Linux笔记: 本地文件传到服务器上: scp -P8022 /文件路径 niehaidong@101.201.75.57:/tmp/ 从服务器上到本地 scp -P8022 niehaidong ...
- Core 2.0使用Nlog记录日志+Mysql
一.先创建一个Core2.0的项目,并在NuGet中引入3个类库文件 MySql.Data.dll NLog.dll NLog.Web.AspNetCore.dll 二.创建一个nlog.config ...
- Mysql和mongo安装配置
mysql配置 1.下载镜像 docker pull mysql/mysql-server 2.运行容器 docker run -d -p 3306:3306 --name [Name] [Image ...