Windows 10家庭中文版,Python 3.6.3,Scrapy 1.5.0, 时隔一月,再次玩Scrapy项目,希望这次可以玩的更进一步. 本文展示使用在 Scrapy项目内.项目外scrapy shell命令抓取知乎首页的初步情况,重要的一点是,在项目内抓取时,没有response可用. 在项目[外]执行抓取命令 scrapy shell https://www.zhihu.com 得到结果(部分):因为知乎的反爬虫功能,得到了400错误,访问失败. INFO: Overridden…