【笔记-scrapy-selector】的更多相关文章

笔记-scrapy与twisted

笔记-scrapy与twisted Scrapy使用了Twisted作为框架,Twisted有些特殊的地方是它是事件驱动的,并且比较适合异步的代码. 在任何情况下,都不要写阻塞的代码.阻塞的代码包括: 访问文件.数据库或者Web 产生新的进程并需要处理新进程的输出,如运行shell命令 执行系统层次操作的代码,如等待系统队列 Twisted提供了允许执行上面的操作但不会阻塞代码执行的方法.至于Twisted异步代码与多线程代码的比较可以参考一下下图:  多线程的代码会有多个线程,在任何给定的时刻…

如何理解scrapy Selector

1 scrapy Selector是什么 Selector对象本质上是对DOM tree的子树的抽象,这种抽象的目的是用于定位我们感兴趣的node.比如某次http response是一棵完整的DOM tree,该response的Selector是对整个DOM tree的抽象,然后xpath()函数对Selector进行了定位,得到了更细化的子树或者子树的集合. 2 要获取定位后的Selector所抽象的子树中的内容,并且用unicode string来表示,就要用到extract()函数.…

scrapy Selector用法及xpath语法

准备工作 html示例: <?xml version="1.0" encoding="UTF-8"?> <html <head> <title>text</title> </head> <body> <div class="cdiv"> <p class="cp1 section">test p1 <span>ne…

Object C学习笔记18-SEL,@ selector,Class,@class

本章是对上一章<<Object C学习笔记17-动态判断和选择器>>的一点补充,所以比较简单点. 一. SEL 类型 在上一篇介绍了几个方法,都只是介绍了其使用方式但是没有具体介绍参数: - (id)performSelector:(SEL)aSelector; - (id)performSelector:(SEL)aSelector withObject:(id)object; - (id)performSelector:(SEL)aSelector withObject:(id…

Object C学习笔记18-SEL,@ selector,Class,@class--转

一. SEL 类型 在上一篇介绍了几个方法,都只是介绍了其使用方式但是没有具体介绍参数: - (id)performSelector:(SEL)aSelector; - (id)performSelector:(SEL)aSelector withObject:(id)object; - (id)performSelector:(SEL)aSelector withObject:(id)object1 withObject:(id)object2; - (BOOL)respondsToSelec…

scrapy selector选择器

这部分内容属于补充内容 1.xpath() 2.css() 3.正则表达式 # 多个值,列表 response.xpath('//a/text()').re('(.*?):\s(.*)') # 取第一个值 response.xpath('//a/text()').re_first('(.*?):\s(.*)') 注意:re和re_first不能直接使用,response.re()…

CSS 学习笔记——CSS Selector

CSS1 中定义的选择器 类型选择器 用于选择指定类型的元素(其实他就是 html 标签选择器),常见用法如下: body { /*对 body 元素定义样式*/ } body,div { /*同时选择多种标签元素*/ } ID 选择器 用于选择指定 ID 的 html 元素,常见使用方法如下: <div id="nav"> </div> <style> #nav { /*定义 ID 为 nav 的元素的样式*/ } </style> 因…

scrapy笔记集合

细读http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html 目录 Scrapy介绍 安装 基本命令 项目结构以及爬虫应用介绍 简单使用示例 选择器 数据格式化.持久化 中间件 自定义命令 自定义扩展(涉及信号) 避免重复访问(去重) settings说明 其他 TinyScrapy(自定义框架) 示例 补充 - 数据采集器 - log Scrapy介绍 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 其可以应用在数据…

scrapy 学习笔记

1.scrapy 配合 selenium.phantomJS 抓取动态页面, 单纯的selemium 加 Firefox浏览器就可以抓取动态页面了, 但开启窗口太耗资源,而且一般服务器的linux 没有视窗系统,所以通过无窗口的phantomJS就行了,原理都是通过webket加载js渲染. 直接 pip install selenium 安装 selenium,下载 phantomJS 解压,并将 phantomJS.exe 加入到系统环境,然后就大功告成了. #coding:utf-8 im…

使用scrapy选择器selector解析获取百度结果

0x00 概述 需要成功安装scrapy,安装方法与本文无关,不在这多说. 0x01 配置settings 由于百度对于user-agent进行验证,所以需要添加. settings.py中找到DEFAULT_REQUEST_HEADERS,设置好后如下: DEFAULT_REQUEST_HEADERS = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Ma…