先看看scrapy的框架流程, 1,安装 scrapy 链接 查看即可. 2,新建scrapy项目 scrapy startproject 项目名 目录结构图 3,cd到项目名下,创建任务. scrapy genspider 爬虫名 www.baidu.com(网站网址) 参数解析: name,定义spider的名字的字符串,必须是唯一的,name是spider的最重要的属性,而且是必须的allowed_domains可选,包含spider允许爬取的域名的列表,当offsiterMiddlewa…