网上关于Scracpy的讲述已经非常丰富了,而且还有大神翻译的官方文档,我就不重复造轮子了,自己写了一个小爬虫,遇到不少坑,也学到不少东西,在这里给大家分享一下,自己也做个备忘录. 主要功能就是爬取cnvd漏洞库每个漏洞的名称.发布时间,漏洞描述,漏洞编号... 先说下我的环境: Ubuntu 16.04 python 2.7 scracpy 1.0.3 1.Scracpy的如何自定义UA? 因为某些网站有根据ua做反爬机制,Scracpy已经为我们定义好了处理机制,首先在settings.py…