crawler_exa2
优化中...
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# Author: Tdcqma '''
v17.0920.1401 基本功能实现,漏洞标题与漏洞链接优化
v17.0922.1800 已实现对【Cisco 漏洞告警】提供受影响的版本信息
v17.0922.1913 优化代码,对版本v17.0922.1800实现函数化
''' import urllib.request
import ssl,re
import smtplib,email
import datetime f = open("secInfo-lvmeng.txt", 'w', encoding='utf-8') #today = str(datetime.date.today()) # 指定以当前时间为搜索条件
today = "2017-09-20" # 临时指定测试时间 # 生产列表保存所有安全漏洞标题
tomcat_sec = ["Apache Tomcat 漏洞告警(当前生产版本为7.0.68)\n\n"]
Cisco_sec = ["Cisco 漏洞告警(当前生产版本为1.0.35)\n\n"]
WebLogic_sec = ["WebLogic 漏洞告警(当前生产版本为10.33)\n\n"]
Microsoft_sec = ["Microsoft 漏洞告警(当前生产版本为windows2012)\n\n"]
Noinfo_sec = "本日无爬虫安全告警.\n\n" tomcat_msg = ''' '''
WebLogic_msg = ''' '''
Cisco_msg = ''' '''
Microsoft_msg = ''' ''' count = 0 # 计算告警漏洞总数
str_domain = "http://www.nsfocus.net"
msg_fl = ""
newline = "" def get_infected_vision(info_sec,info_msg,sub_url): line = " ♠ " + today + " " + title + "\n >> " + sub_url + '\n'
info_msg += line # 逐行读取,将其保存到msg字符变量里。
info_sec.append(line)
global count
count += 1 # 进入漏洞详细页面,调取受影响的漏洞版本
vul_request = urllib.request.Request(sub_url)
vul_response = urllib.request.urlopen(vul_request)
vul_data = vul_response.read().decode('utf-8') # 正则表达式匹配受影响的版本
affected_version = re.findall("<blockquote>.*</blockquote>", vul_data, re.S)
affected_version = " 受影响的版本:" + affected_version[0][12:-13], '\n' for newline in affected_version:
newline = newline.replace('<', '<')
info_sec.append(newline + '\n') for i in range(5): #指定被扫描网站需要扫描的网页数范围,默认读取1-10页,即一天的漏洞个数可能要占用好几个页面
url = "http://www.nsfocus.net/index.php?act=sec_bug&type_id=&os=&keyword=&page=%s" % (i+1)
request = urllib.request.Request(url) # 当尝试访问https开始当站点时,设置全局取消SSL证书验证
ssl._create_default_https_context = ssl._create_unverified_context
response = urllib.request.urlopen(request)
data = response.read().decode('utf-8') if today in data:
# 用于匹配内容的正则表达式部分
str_re = "<.*" + today + ".*"
res = re.findall(str_re, data) for line in res:
title_craw = re.findall("/vulndb/\d+.*</a>", line) # 获取标题
title = title_craw[0][15:-4] url_craw = re.findall("/vulndb/\d+", line) # 获取链接
sub_url = str_domain + url_craw[0] if "Apache Tomcat" in title:
get_infected_vision(tomcat_sec,tomcat_msg,sub_url)
elif "WebLogic" in title:
get_infected_vision(WebLogic_sec,WebLogic_msg,sub_url)
elif "Cisco" in title:
get_infected_vision(Cisco_sec,Cisco_msg,sub_url) # 获取漏洞的受影响版本 elif "Microsoft" in title:
get_infected_vision(Microsoft_sec,Microsoft_msg,sub_url) msg_fl = [tomcat_sec, WebLogic_sec, Cisco_sec,Microsoft_sec]
secu_msg = ''' '''
for i in range(len(msg_fl)):
if len(msg_fl[i]) > 1:
for j in range(len(msg_fl[i])):
secu_msg += msg_fl[i][j]
msg_fl = secu_msg if count == 0 :
msg_fl += Noinfo_sec
msg_fl += ("漏洞告警总数:" + str(count))
else:
msg_fl += ("漏洞告警总数:" + str(count)) f.writelines(msg_fl)
f.close()
# print(msg_fl) # 发送邮件
chst = email.charset.Charset(input_charset = 'utf-8')
header = ("From: %s\nTo: %s\nSubject: %s\n\n" %
("from_mail@163.com",
"to_mail@163.com",
chst.header_encode("[爬虫安全通告-绿盟]"))) # 借用163smtp服务器发送邮件,将上面读到的报警信息作为邮件正文发送。 email_con = header.encode('utf-8') + msg_fl.encode('utf-8')
smtp = smtplib.SMTP("smtp.163.com")
smtp.login("from_mail@163.com","from_mail_password")
smtp.sendmail('from_mail@163.com','to_mail@163.com',email_con)
print('mail send success!')
smtp.quit()
爬虫邮件告警截图:
crawler_exa2的更多相关文章
随机推荐
- pyV8不支持dom操作,关于PyV8的支持DOM的疑问
https://www.cnblogs.com/zdz8207/p/python_learn_note_123.html
- 【可靠性】Mysql 5.7 降低了半同步复制-数据丢失的风险
如果你的生产线开启了半同步复制,那么对数据的一致性会要求较高,但在MySQL5.5/5.6里,会存在数据不一致的风险.有这么一个场景,客户端提交了一个事务,master把binlog发送给slave, ...
- python 3.6 + numpy + matplotlib + opencv + scipy 安装
首先,下载并安装 python3.6: 然后,在网址http://www.lfd.uci.edu/~gohlke/pythonlibs/ 上 分别下载 numpy.scipy.matplotlib.o ...
- Codeforces Round #541 (Div. 2) (A~F)
目录 Codeforces 1131 A.Sea Battle B.Draw! C.Birthday D.Gourmet choice(拓扑排序) E.String Multiplication(思路 ...
- BZOJ.3676.[APIO2014]回文串(回文树)
BZOJ 洛谷 很久之前写(抄)过一个Hash+Manacher的做法,当时十分懵逼=-= 然而是道回文树模板题. 回文树教程可以看这里(真的挺妙的). 顺便再放上MilkyWay的笔记~ //351 ...
- BZOJ.4402.Claris的剑(组合 计数)
BZOJ 因为是本质不同,所以考虑以最小字典序计数. 假设序列最大值为\(m\),那么序列有这两种情况: \(1\ (1\ 2\ 1\ 2...)\ 2\ (3\ 2\ 3\ 2...)\ 3\ (4 ...
- go defer笔记
1.函数中return xxx非原子指令 2.函数返回过程:先给返回值赋值:再调用defer:最后回到调用函数中 即:返回值 = xxx; defer; return; 3.多个defer调用顺序类似 ...
- [P1082][NOIP2012] 同余方程 (扩展欧几里得/乘法逆元)
最近想学数论 刚好今天(初赛上午)智推了一个数论题 我屁颠屁颠地去学了乘法逆元 然后水掉了P3811 和 P2613 (zcy吊打集训队!)(逃 然后才开始做这题. 乘法逆元 乘法逆元的思路大致就是a ...
- 我要当皇帝等微信小游戏的wbs
猜字:1.视图交互: 1)主界面:展示每一道题目跟答案 1) 题目展示区域, 成员布局 2) 选项展示 3) 其他 2)下一道题弹框 3)答案弹框 4)结果弹框 5)关卡弹框 2.数据处理, 1) 读 ...
- 前端里面如何进行搜索引擎优化(SEO)
如何进行SEO优化: (1) 避免head标签js堵塞: 所有放在head标签里面的js和css都会堵塞渲染:如果这些css和js需要加载很久的话,那么页面就空白了: 解决办法:一是把script放到 ...