scrapy参数

当Scrapy正常运行时，下载器是瓶颈。
在这种情况下，你会看到调度器中有一些请求，下载器中的并发请求数目已经达到最大值，而scraper（爬虫和pipeline）的负载较轻，正在处理的Response对象数目也不会一直增长。

主要有三个设置项来控制下载器的容量：CONCURRENT_REQUESTS，CONCURRENT_REQUESTS_PER_DOMAIN和CONCURRENT_REQUESTS_PER_IP。第一个设置项提供了一个粗略的控制，无论如何不会有超过CONCURRENT_REQUESTS数目的请求被并发下载。在另一方面，如果你的目标域名只是一个或者少数的几个，那么CONCURRENT_REQUESTS_PER_DOMAIN可能就会提供对并发请求数目的更进一步的限制。不过如果你设置了CONCURRENT_REQUESTS_PER_IP，那么CONCURRENT_REQUESTS_PER_DOMAIN就会被忽略，这时的限制会是针对每个IP的。在很多域名都反射一个服务器的时候，这会帮你避免过度地访问远程服务器。

为了使我们的分析工作简单一点，我们把CONCURRENT_REQUESTS_PER_IP保持为默认值（0），这样就禁用了对每个IP的限制，并且把CONCURRENT_REQUESTS_PER_DOMAIN设置成一个很大的值（1000000） 。这样的设置实际上就是禁用了这些限制，这样下载器的并发请求数目就只由CONCURRENT_REQUESTS来控制了。