使用pyquery

简单举例

 from pyquery import PyQuery as pq

 html = '''

 <div>

 <ul>

 <li class="item-O"><a href="linkl.html">first item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

 <li class="item-inactive"><a href="link3.html">third item</a></li>

 <li class="item-1"><a href="link4.html">fourth item</a></li>

 <li class="item-0"><a href="link5.html">fifth item</a>

 </ul>

 </div>

 '''

 doc = pq(html)

 print(doc)

 # 输出：

 <div>

 <ul>

 <li class="item-O"><a href="linkl.html">first item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

 <li class="item-inactive"><a href="link3.html">third item</a></li>

 <li class="item-1"><a href="link4.html">fourth item</a></li>

 <li class="item-0"><a href="link5.html">fifth item</a>

 </li></ul>

 </div>

字符串

 from pyquery import PyQuery as pq

 import requests

 # doc1 与 doc2 功能相同

 doc1 = pq(url='https://www.cnblogs.com/liyihua/')

 print(doc1('title'))

 doc2 = pq(requests.get('https://www.cnblogs.com/liyihua/').text)

 print(doc1('title'))

 # 输出：

 <title>李亦华 - 博客园</title>&#13;

 <title>李亦华 - 博客园</title>&#13;

URL

 from pyquery import PyQuery as pq

 doc = pq(filename='test.html')

 print(doc('li'))

 # 输出：

 <li class="item-O"><a href="linkl.html">first item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

 <li class="item-inactive"><a href="link3.html">third item</a></li>

 <li class="item-1"><a href="link4.html">fourth item</a></li>

 <li class="item-0"><a href="link5.html">fifth item</a>

 </li>

 # 文件内容：

 <div>

 <ul>

 <li class="item-O"><a href="linkl.html">first item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

 <li class="item-inactive"><a href="link3.html">third item</a></li>

 <li class="item-1"><a href="link4.html">fourth item</a></li>

 <li class="item-0"><a href="link5.html">fifth item</a>

 </ul>

 </div>

文件

基本CSS选择器

 from pyquery import PyQuery as pq

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = pq(html)

 print(doc('#container .list li'))

 print(

     type(

         doc('#container .list li')

     )

 )

 # 输出：

 <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

 <class 'pyquery.pyquery.PyQuery'>

查找节点

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 items = doc('.list')

 print(

     type(items),

     items,

     sep='\n'

 )

 print(

     type(items.find('li')),

     items.find('li'),

     sep='\n'

 )

 # 输出：

 <class 'pyquery.pyquery.PyQuery'>

 <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 <class 'pyquery.pyquery.PyQuery'>

 <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

子孙节点----find()方法

# find()方法查找的是所有子孙节点，如果只查找子节点，可以使用children()方法

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 items = doc('.list')

 print(items, '\n')

 print(

     type(items.parent()),

     items.parent(),

     sep='\n'

 )

 # 输出：

 <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 <class 'pyquery.pyquery.PyQuery'>

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

父节点----parent()方法

parents(selector=None)

parent(selector=None)

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 # 选择class为list的节点内部class为item-0和active的节点

 items = doc('.list .item-0.active')

 print(

     type(items.siblings()),

     items.siblings(),

     sep='\n'

 )

 print("\n", items.siblings('.active'))

 # 输出：

 <class 'pyquery.pyquery.PyQuery'>

 <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0">first item</li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

  <li class="item-1 active"><a href="link4.html">fourth item</a></li>

兄弟节点----siblings()方法

遍历

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 lis = doc('li').items()             # 调用items()方法，得到一个生成器

 for li in lis:

     print(

         li,

         type(li)

     )

 # 输出：

 <li class="item-0">first item</li>

           <class 'pyquery.pyquery.PyQuery'>

 <li class="item-1"><a href="link2.html">second item</a></li>

           <class 'pyquery.pyquery.PyQuery'>

 <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

           <class 'pyquery.pyquery.PyQuery'>

 <li class="item-1 active"><a href="link4.html">fourth item</a></li>

           <class 'pyquery.pyquery.PyQuery'>

 <li class="item-0"><a href="link5.html">fifth item</a></li>

       <class 'pyquery.pyquery.PyQuery'>

遍历----items()

获取信息

获取属性

attr()方法获取属性

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 a = doc('.item-0.active a')

 print(

     a,

     type(a),

     a.attr('href'),             # 也可以用a.attr.href，两者作用相同

     sep='\n'

 )

 # 输出：

 <a href="link3.html"><span class="bold">third item</span></a>

 <class 'pyquery.pyquery.PyQuery'>

 link3.html

# 当返回结果包含多个节点时，调用attr()方法，只会得到第一个节点的属性。如果想获取所有返回的节点的属性，就要用到遍历了

获取文本

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 li = doc('li')

 print(

     li.html(),                  # 获取节点的内部文本

     li.text(),                  # 获取节点文本，返回结果是纯文字内容

     type(li.text()),

     sep='\n'

 )

 # 输出：

 first item

 first item second item third item fourth item fifth item

 <class 'str'>

节点操作

add_class() 和 remove_class() ---- 添加class、移除class

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0">first item</li>

          <li class="item-1"><a href="link2.html">second item</a></li>

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

          <li class="item-1 active"><a href="link4.html">fourth item</a></li>

          <li class="item-0"><a href="link5.html">fifth item</a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 li = doc('.item-0.active')

 print(li)

 print(li.remove_class('active'))

 print(li.add_class('active'))

 # 输出：

 <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

 <li class="item-0"><a href="link3.html"><span class="bold">third item</span></a></li>

 <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

attr、text 和 html

# attr(*args, **kwargs) ---- Attributes manipulation
# text(value=no_default, **kwargs) ---- Get or set the text representation of sub nodes.
# html(value=no_default, **kwargs) ---- Get or set the html representation of sub nodes.

 from pyquery import PyQuery

 html = '''

 <div id="container">

     <ul class="list">

          <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

      </ul>

 </div>

 '''

 doc = PyQuery(html)

 li = doc('.item-0.active')

 print(li)

 li.attr('name', 'link')         # 添加属性name，属性值为link

 print(li)

 li.text('change item')          # 将节点内部的内容改为'change item'

 print(li)

 li.html('<span>change item</span>')         # 将节点内部的内容改为'<span>change item</span>'

 print(li)

 # 输出：

 <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

 <li class="item-0 active" name="link"><a href="link3.html"><span class="bold">third item</span></a></li>

 <li class="item-0 active" name="link">change item</li>

 <li class="item-0 active" name="link"><span>change item</span></li>

remove()----删除节点

 from pyquery import PyQuery

 html = '''

 <div class="LeeHua">

 LiYihua

 <ul class="201802004731">liyihua</ul>

 </div>

 '''

 doc = PyQuery(html)

 Leehua = doc('.LeeHua')

 print("移除节点ul前的输出：\n"+Leehua.text())

 Leehua.find('ul').remove()

 print("移除节点ul后的输出：\n"+Leehua.text())

 # 输出：

 移除节点ul前的输出：

 LiYihua

 liyihua

 移除节点ul后的输出：

 LiYihua

伪类选择器

示例：

 from pyquery import PyQuery

 html = '''

 <div class="wrap">

     <div id="container">

         <ul class="list">

             <li class="item-0">first item</li>

             <li class="item-1"><a href="link2.html">second item</a></li>

             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

             <li class="item-1 active"><a href="link4.html">fourth item</a></li>

             <li class="item-0"><a href="link5.html">fifth item</a></li>

         </ul>

     </div>

 </div>

 '''

 doc = PyQuery(html)

 # 选择属于父元素的第一个子元素的每个 <li> 元素。

 li = doc('li:first-child')

 print(li)

 # 选择属于父元素的最后一个子元素的每个 <li> 元素。

 li = doc('li:last-child')

 print(li)

 # 选择属于其父元素的第二个子元素的每个 <li> 元素

 li = doc('li:nth-child(2)')

 print(li)

 # 选择属于其父元素的最后两个子元素的每个 <li> 元素

 li = doc('li:gt(2)')

 print(li)

 # 选择属于父元素的第偶个子元素的每个 <li> 元素。

 li = doc('li:nth-child(2n)')

 print(li)

 # 选择包含'second'的每个元素

 li = doc('li:contains(second)')

 print(li)

 # 输出：

 <li class="item-0">first item</li>

 <li class="item-0"><a href="link5.html">fifth item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

 <li class="item-1 active"><a href="link4.html">fourth item</a></li>

             <li class="item-0"><a href="link5.html">fifth item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

             <li class="item-1 active"><a href="link4.html">fourth item</a></li>

 <li class="item-1"><a href="link2.html">second item</a></li>

CSS 选择器的用法：http://www.w3school.com.cn/cssref/css_selectors.asp

使用pyquery的更多相关文章

pyquery的问题
在使用pyquery时发现一些问题, 1.爬取的html中如果有较多的错误时,不能很好的补全. 2.如果要获取某个class中的内容时,如果内容太多不能取完整!只能取一部分. 这个在现在的最新版本中还 ...
python爬虫神器PyQuery的使用方法
你是否觉得 XPath 的用法多少有点晦涩难记呢? 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢? 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢? 你是否已经有了一些 ...
windows下python安装pyquery
安装pyquery之前首先要明确一点,easyinstall 是一款python包管理器,类似于node的npm,用于安装python的扩展包,它安装的包是以*.egg的方式. 要安装pq需要经历以下 ...
Python开发包推荐系列之xml、html解析器PyQuery
使用python,喜欢她的简洁是一方面,另外就是它有着丰富的开发包好用又方便接下来会给大家推荐一系列很赞的开发包. 在解析html.xml过程中,我们有不少的包可以用.比如bs.lxml.xmlt ...
python - PyQuery
偶尔的机会,知道这么个扩展,手贱翻了下文档,发现似乎挺有意思,遂记录一二. what: 这是一个python版本的jquery,而且是后端执行的,至少官方是这么说的: pyquery allows y ...
【pyQuery】抓取startup news首页
#! /usr/bin/python # coding: utf-8 from pyquery import PyQuery c=PyQuery('http://news.dbanotes.net/' ...
【pyQuery分析实例】分析体育网冠军联盟比赛成绩
目标地址:http://www.espncricinfo.com/champions-league-twenty20-2012/engine/match/574265.html liz@nb-liz: ...
【PyQuery】PyQuery总结
pyquery库是jQuery的Python实现,可以用于解析HTML网页内容, 官方文档地址是:http://packages.python.org/pyquery/. 二.使用方法 ? 1 fro ...
win7下python安装pyquery
安装pyquery之前首先要明确一点,easyinstall 是一款python包管理器,类似于node的npm,用于安装python的扩展包,它安装的包是以*.egg的方式. 要安装pq需要经历以下 ...
Python抓取页面中超链接(URL)的三中方法比较(HTMLParser、pyquery、正则表达式) <转>
Python抓取页面中超链接(URL)的3中方法比较(HTMLParser.pyquery.正则表达式) HTMLParser版: #!/usr/bin/python # -*- coding: UT ...

随机推荐

laravel基础操作手册
laravel基础操作手册 1.路由配置测试配置路由: Route::get('/test', 'TestController@index'); 2.控制器书写 3.模型文件 4.增加扩展类文件 L ...
第一篇：php开发环境
Window: 1.XAMPPhttps://www.apachefriends.org/index.html 2.WampServerhttp://www.wampserver.com/ Linux ...
Java面向对象程序设计第6章1-12
1.this和super各有几种用法? this this 用法有三种,主要应用场合: 表示当前对象引用,常用于形参或局部变量与类的成员变量同名的情形,使用this.成员名表示当前对象的成员表示当 ...
Cocos Creator 3D 打砖块图文教程(一)
在线体验链接: http://example.creator-star.cn/block3d/ 上面图中是打砖块游戏的主要 3D 节点元素,Shawn 这两天在学习 Unity 与 Creator3D ...
axios对put操作对Android的支持之坑
### 前段时间我做的一个手机端H5项目,需要发送一个put请求.因为ajax现在用的人有点少了,而且公司里边都是用的axios,所以我也是用的是axios做的请求. ### 再开发的时候测试都没有问 ...
Python多任务之进程
Process多进程进程的概念程序是没有运行的代码,静态的: 进程是运行起来的程序,进程是一个程序运行起来之后和资源的总称: 程序只有一个,但同一份程序可以有多个进程:例如,电脑上多开QQ: 程序 ...
Spring Boot2 系列教程(十)Spring Boot 整合 Freemarker
今天来聊聊 Spring Boot 整合 Freemarker. Freemarker 简介这是一个相当老牌的开源的免费的模版引擎.通过 Freemarker 模版,我们可以将数据渲染成 HTML ...
meta标签中设置以极速模式打开网页
1.网页meta标签中X-UA-Compatible属性的使用的极速模式 <meta http-equiv="X-UA-Compatible" content="I ...
微信开发中使用微信JSSDK和使用URL.createObjectURL上传预览图片的不同处理对比
在做微信公众号或者企业微信开发业务应用的时候,我们常常会涉及到图片预览.上传等的处理,往往业务需求不止一张图片,因此相对来说,需要考虑的全面一些,用户还需要对图片进行预览和相应的处理,在开始的时候我使 ...
Cohen-Sutherland算法
Cohen-Sutherland算法本算法又称为编码裁剪算法,算法的基本思想是对每条直线段分三种情况处理: (1)若点p1和p 2完全在裁剪窗口内 “简取”之 (2)若点p1(x1,y1)和p2( ...

使用pyquery

简单举例

基本CSS选择器

查找节点

遍历

获取信息

获取属性

获取文本

节点操作

add_class() 和 remove_class() ---- 添加class、移除class

attr、text 和 html

remove()----删除节点

伪类选择器

使用pyquery的更多相关文章

随机推荐

热门专题