了解CrawlSpider 踏实爬取一般网站的常用spider,其中定义了一些规则(rule)来提供跟进link的方便机制,也许该spider不适合你的目标网站,但是对于大多数情况是可以使用的.因此,可以以此为七点,根据需求修改部分方法,当然也可以实现自己的spider. 官方文档:http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/spiders.html#crawlspider CrawlSpider的使用 简单使用 创建爬虫文件:scrap…