1,随机更换 user-agent: 将足够多的user-agent放在settings中,在parse方法中调用 缺点:每一个request中都要调用这个方法 这个是scrapy的流程图. 既然每一次下载都需要通过中间件,那么为什么不写在中间件里面呢? scrapy怎么写呢? 在官方文档中可以知道,需要处理的是三个个方式 1,process_request(request, spider) 2,process_response(request, response, spider) 3, pro…