1生成项目:生成项目文件夹 scrapy startproject 项目名 2生成爬虫文件 scrapy genspider 爬虫名 指定域名 3进入items文件可以输入自己想要爬取的内容比如 text = scrapy.Field()author = scrapy.Field()tags = scrapy.Field()4scrpapy shell 指定的网页地址 这样就可以在shell里面测试是否成功抓取元素 5启动一个爬虫项目 scrapy crawl 爬虫名(2里面填的爬虫名字) 6数…

一.xpath库使用: 1.基本规则: 2.将文件转为HTML对象: html = etree.parse('./test.html', etree.HTMLParser()) result = etree.tostring(html) print(result.decode('utf-8')) 3.属性多值匹配: //a[contains(@class,'li')] 4.多属性匹配: //a[@class="a" and @font="red"] 5.按序选择:…

1.新建一个新的爬虫项目指令 scrapy startproject xxx 2.在项目/spider目录下创建一个名为XXX的爬虫,并指定爬取域的范围  scrapy genspider XXX "www.XXX.com" 3.执行运行命令 scrapy crawl itcast 4.保存execl数据 scrapy crawl XXX -o XXX.csv 5.保存json数据 scrapy crawl XXX -o XXX.json…

1.请求携带参数的方式1.带数据的post data=字典对象2.带header的post headers=字典对象3.带json的post json=json对象4.带参数的post params=字典对象5.普通文件上传 files= files = {'file':open('filaname.txt','rb')}6.定制化文件上传 files= files = {'file':('filaname.png',open('filaname.png','rb'),'image/png')}…

博客地址:http://www.moonxy.com 基于 Python 3.6.2 的 Scrapy 爬虫框架使用,Scrapy 的爬虫实现过程请参照本人的另一篇博客:Python3 爬虫之 Scrapy 核心功能实现(二) 一.初识 Scrapy Scrapy 是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中.其最初是为了页面抓取(更确切来说, 网络抓取)所设计的, 也可以应用在获取API所返回的数据(例如 Amazon…

Python版本:3.5            系统:Windows 一.准备工作 需要先安装几个库(pip,lxml,pywin32,Twisted,pyOpenSSL),这些都比较容易,如果使用的是Pycharm,就可以更方便的安装模块,在settings里可以选择版本进行下载. 如果在命令行模式下输入pip -V出现 'pip' 不是内部或外部命令,也不是可运行的程序或批处理文件,先确保自己在环境变量中配置E:\Python3.5\Scripts,如果环境变量配置没有问题,但还是出现 'p…

系列文章列表: scrapy爬虫学习系列一:scrapy爬虫环境的准备:      http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_007_scrapy01.html scrapy爬虫学习系列二:scrapy简单爬虫样例学习: http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_007_scrapy02.html scrapy爬虫学习系列三:scrapy部署到scrapyh…

继上篇<python之urllib2简单解析HTML页面>之后学习使用Python比较有名的爬虫scrapy.网上搜到两篇相应的文档,一篇是较早版本的中文文档Scrapy 0.24 文档,一篇是当前最新文档Scrapy 1.3 documentation,建议还是看最新的英文文档比较好. scrapy的安装教程请参考上篇<python之urllib2简单解析HTML页面>. 1.创建一个个Scrapy项目 scrapy startproject firstCrawler 目录切换到…

Python3.5在Windows7环境下Scrapy库的安装 忙活了一下午,总算是把Scrapy库给装完了,记下来给需要帮助的人 首先安装的环境:Windows7 64位 Python的版本是:3.5.1 需要其他库:lxml.pywin32.twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 里面的27,35,36代表的是python版本,选择合适的版本下载,我选择的是: lxml‑4.0.0‑cp35‑cp35m‑win_amd6…

博客地址:http://www.moonxy.com 基于 Python 3.6.2 的 Scrapy 爬虫框架使用,Scrapy 的搭建过程请参照本人的另一篇博客:Python3 爬虫之 Scrapy 框架安装配置(一) 1. 爬虫项目创建 在抓取之前,需要新建一个 Scrapy 工程.进入一个你想用来保存代码的目录,比如 G:\projects 然后执行: scrapy startproject SinanewsSpider 这个命令会在当前目录下创建一个新目录 SinanewsSpider…