前言 虽然爬虫的入门级编写并不难,但要让爬虫真正稳定可靠的运行起来,真不是一件容易的事.首先,要用到scrapy,就必须要读懂scrapy这个爬虫框架,如果连这个框架的执行逻辑都搞不懂,那么爬虫也很难写好. 1.命令行启动 这里先不谈使用了各种框架的复杂情况,比如scrapyd服务.redis分布式队列等.只看最简单的情况,假设只写了几个简单爬虫spider(中间件和管道写不写无影响). 输入命令 通过命令行运行其中的某一个spider: scrapy crawl myspider 首先,命令里…