python 基础学习中对于scrapy的使用遇到了一些问题. 首先进行的是对Amazon.cn的检索结果页进行爬取,很顺利,无碍. 下一个目标是对baidu的搜索结果进行爬取 1,反爬虫 1.1 我先对ROBOTSTXT_OBEY进行设置,结果找到了scrapy的默认参数(这里涉及多Python环境下库的调用问题,又是一个坑,另写一篇进行记录).修改无效. 询问后才知道是对scrapy startproject编译过的项目中的setting进行修改 1.2 反爬虫第二关:网址,之前调用的 im…