useragentstring.com 网站几乎廊括了所有的User-Agent,刚学了scrapy,打算那它练手,把上面的 user-agent 爬取下来. 本文只爬取常见的 FireFox, Chrome, Opera, Safri, Internet Explorer 一.创建爬虫项目 1.创建爬虫项目useragent $ scrapy startproject useragent 2.进入项目目录 $ cd useragent 3.生成爬虫文件 ua 这一步不是必须的,不过有了就方便些