审时度势 PySpider 是一个我个人认为非常方便并且功能强大的爬虫框架,支持多线程爬取.JS动态解析,提供了可操作界面.出错重试.定时爬取等等的功能,使用非常人性化. 本篇内容通过跟我做一个好玩的 PySpider 项目,来理解 PySpider 的运行流程. 招兵买马 具体的安装过程请查看本节讲述 安装 嗯,安装好了之后就与我大干一番吧. 鸿鹄之志 我之前写过的一篇文章 抓取淘宝MM照片 由于网页改版,爬取过程中需要的 URL 需要 JS 动态解析生成,所以之前用的 urllib2 不能继…