• 简单举例

    1.  from pyquery import PyQuery as pq
    2.  
    3.  html = '''
    4.  <div>
    5.  <ul>
    6.  <li class="item-O"><a href="linkl.html">first item</a></li>
    7.  <li class="item-1"><a href="link2.html">second item</a></li>
    8.  <li class="item-inactive"><a href="link3.html">third item</a></li>
    9.  <li class="item-1"><a href="link4.html">fourth item</a></li>
    10.  <li class="item-0"><a href="link5.html">fifth item</a>
    11.  </ul>
    12.  </div>
    13.  '''
    14.  
    15.  doc = pq(html)
    16.  print(doc)
    17.  
    18.  # 输出：
    19.  <div>
    20.  <ul>
    21.  <li class="item-O"><a href="linkl.html">first item</a></li>
    22.  <li class="item-1"><a href="link2.html">second item</a></li>
    23.  <li class="item-inactive"><a href="link3.html">third item</a></li>
    24.  <li class="item-1"><a href="link4.html">fourth item</a></li>
    25.  <li class="item-0"><a href="link5.html">fifth item</a>
    26.  </li></ul>
    27.  </div>

    字符串

    1.  from pyquery import PyQuery as pq
    2.  import requests
    3.  
    4.  # doc1 与 doc2 功能相同
    5.  doc1 = pq(url='https://www.cnblogs.com/liyihua/')
    6.  print(doc1('title'))
    7.  
    8.  doc2 = pq(requests.get('https://www.cnblogs.com/liyihua/').text)
    9.  print(doc1('title'))
    10.  
    11.  # 输出：
    12.  <title>李亦华 - 博客园</title>&#13;
    13.  
    14.  <title>李亦华 - 博客园</title>&#13;

    URL

    1.  from pyquery import PyQuery as pq
    2.  
    3.  doc = pq(filename='test.html')
    4.  print(doc('li'))
    5.  
    6.  # 输出：
    7.  <li class="item-O"><a href="linkl.html">first item</a></li>
    8.  <li class="item-1"><a href="link2.html">second item</a></li>
    9.  <li class="item-inactive"><a href="link3.html">third item</a></li>
    10.  <li class="item-1"><a href="link4.html">fourth item</a></li>
    11.  <li class="item-0"><a href="link5.html">fifth item</a>
    12.  </li>
    13.  
    14.  # 文件内容：
    15.  <div>
    16.  <ul>
    17.  <li class="item-O"><a href="linkl.html">first item</a></li>
    18.  <li class="item-1"><a href="link2.html">second item</a></li>
    19.  <li class="item-inactive"><a href="link3.html">third item</a></li>
    20.  <li class="item-1"><a href="link4.html">fourth item</a></li>
    21.  <li class="item-0"><a href="link5.html">fifth item</a>
    22.  </ul>
    23.  </div>

    文件

  • 基本CSS选择器

    1.  from pyquery import PyQuery as pq
    2.  
    3.  html = '''
    4.  <div id="container">
    5.      <ul class="list">
    6.           <li class="item-0">first item</li>
    7.           <li class="item-1"><a href="link2.html">second item</a></li>
    8.           <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
    9.           <li class="item-1 active"><a href="link4.html">fourth item</a></li>
    10.           <li class="item-0"><a href="link5.html">fifth item</a></li>
    11.       </ul>
    12.  </div>
    13.  '''
    14.  
    15.  doc = pq(html)
    16.  print(doc('#container .list li'))
    17.  
    18.  print(
    19.      type(
    20.          doc('#container .list li')
    21.      )
    22.  )
    23.  
    24.  # 输出：
    25.  <li class="item-0">first item</li>
    26.           <li class="item-1"><a href="link2.html">second item</a></li>
    27.           <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
    28.           <li class="item-1 active"><a href="link4.html">fourth item</a></li>
    29.           <li class="item-0"><a href="link5.html">fifth item</a></li>
    30.  
    31.  <class 'pyquery.pyquery.PyQuery'>

  • 查找节点

      1.  from pyquery import PyQuery
      2.  
      3.  html = '''
      4.  <div id="container">
      5.      <ul class="list">
      6.           <li class="item-0">first item</li>
      7.           <li class="item-1"><a href="link2.html">second item</a></li>
      8.           <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      9.           <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      10.           <li class="item-0"><a href="link5.html">fifth item</a></li>
      11.       </ul>
      12.  </div>
      13.  '''
      14.  
      15.  doc = PyQuery(html)
      16.  items = doc('.list')
      17.  
      18.  print(
      19.      type(items),
      20.      items,
      21.      sep='\n'
      22.  )
      23.  
      24.  print(
      25.      type(items.find('li')),
      26.      items.find('li'),
      27.      sep='\n'
      28.  )
      29.  
      30.  # 输出：
      31.  <class 'pyquery.pyquery.PyQuery'>
      32.  <ul class="list">
      33.           <li class="item-0">first item</li>
      34.           <li class="item-1"><a href="link2.html">second item</a></li>
      35.           <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      36.           <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      37.           <li class="item-0"><a href="link5.html">fifth item</a></li>
      38.       </ul>
      39.  
      40.  <class 'pyquery.pyquery.PyQuery'>
      41.  <li class="item-0">first item</li>
      42.           <li class="item-1"><a href="link2.html">second item</a></li>
      43.           <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      44.           <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      45.           <li class="item-0"><a href="link5.html">fifth item</a></li>

      子孙节点----find()方法

      # find()方法查找的是所有子孙节点，如果只查找子节点，可以使用children()方法

      1.  from pyquery import PyQuery
      2.  
      3.  html = '''
      4.  <div id="container">
      5.      <ul class="list">
      6.           <li class="item-0">first item</li>
      7.           <li class="item-1"><a href="link2.html">second item</a></li>
      8.           <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      9.           <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      10.           <li class="item-0"><a href="link5.html">fifth item</a></li>
      11.       </ul>
      12.  </div>
      13.  '''
      14.  
      15.  doc = PyQuery(html)
      16.  items = doc('.list')
      17.  
      18.  print(items, '\n')
      19.  
      20.  print(
      21.      type(items.parent()),
      22.      items.parent(),
      23.      sep='\n'
      24.  )
      25.  
      26.  # 输出：
      27.  <ul class="list">
      28.           <li class="item-0">first item</li>
      29.           <li class="item-1"><a href="link2.html">second item</a></li>
      30.           <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      31.           <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      32.           <li class="item-0"><a href="link5.html">fifth item</a></li>
      33.       </ul>
      34.  
      35.  <class 'pyquery.pyquery.PyQuery'>
      36.  <div id="container">
      37.      <ul class="list">
      38.           <li class="item-0">first item</li>
      39.           <li class="item-1"><a href="link2.html">second item</a></li>
      40.           <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      41.           <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      42.           <li class="item-0"><a href="link5.html">fifth item</a></li>
      43.       </ul>
      44.  </div>

      父节点----parent()方法

      1. parents(selector=None)
      1. parent(selector=None)
      1.  from pyquery import PyQuery
      2.  
      3.  html = '''
      4.  <div id="container">
      5.      <ul class="list">
      6.           <li class="item-0">first item</li>
      7.           <li class="item-1"><a href="link2.html">second item</a></li>
      8.           <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      9.           <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      10.           <li class="item-0"><a href="link5.html">fifth item</a></li>
      11.       </ul>
      12.  </div>
      13.  '''
      14.  
      15.  doc = PyQuery(html)
      16.  
      17.  # 选择class为list的节点内部class为item-0和active的节点
      18.  items = doc('.list .item-0.active')
      19.  
      20.  print(
      21.      type(items.siblings()),
      22.      items.siblings(),
      23.      sep='\n'
      24.  )
      25.  
      26.  print("\n", items.siblings('.active'))
      27.  
      28.  # 输出：
      29.  <class 'pyquery.pyquery.PyQuery'>
      30.  <li class="item-1"><a href="link2.html">second item</a></li>
      31.           <li class="item-0">first item</li>
      32.           <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      33.           <li class="item-0"><a href="link5.html">fifth item</a></li>
      34.  
      35.   <li class="item-1 active"><a href="link4.html">fourth item</a></li>

      兄弟节点----siblings()方法

  1.  

  • 遍历

    1.  from pyquery import PyQuery
    2.  
    3.  html = '''
    4.  <div id="container">
    5.      <ul class="list">
    6.           <li class="item-0">first item</li>
    7.           <li class="item-1"><a href="link2.html">second item</a></li>
    8.           <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
    9.           <li class="item-1 active"><a href="link4.html">fourth item</a></li>
    10.           <li class="item-0"><a href="link5.html">fifth item</a></li>
    11.       </ul>
    12.  </div>
    13.  '''
    14.  
    15.  doc = PyQuery(html)
    16.  lis = doc('li').items()             # 调用items()方法，得到一个生成器
    17.  
    18.  for li in lis:
    19.      print(
    20.          li,
    21.          type(li)
    22.      )
    23.  
    24.  # 输出：
    25.  <li class="item-0">first item</li>
    26.            <class 'pyquery.pyquery.PyQuery'>
    27.  <li class="item-1"><a href="link2.html">second item</a></li>
    28.            <class 'pyquery.pyquery.PyQuery'>
    29.  <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
    30.            <class 'pyquery.pyquery.PyQuery'>
    31.  <li class="item-1 active"><a href="link4.html">fourth item</a></li>
    32.            <class 'pyquery.pyquery.PyQuery'>
    33.  <li class="item-0"><a href="link5.html">fifth item</a></li>
    34.        <class 'pyquery.pyquery.PyQuery'>

    遍历----items()

  • 获取信息

    • 获取属性

      1. attr()方法获取属性
      1.  from pyquery import PyQuery
      2.  
      3.  html = '''
      4.  <div id="container">
      5.      <ul class="list">
      6.           <li class="item-0">first item</li>
      7.           <li class="item-1"><a href="link2.html">second item</a></li>
      8.           <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      9.           <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      10.           <li class="item-0"><a href="link5.html">fifth item</a></li>
      11.       </ul>
      12.  </div>
      13.  '''
      14.  
      15.  doc = PyQuery(html)
      16.  a = doc('.item-0.active a')
      17.  print(
      18.      a,
      19.      type(a),
      20.      a.attr('href'),             # 也可以用a.attr.href，两者作用相同
      21.      sep='\n'
      22.  )
      23.  
      24.  # 输出：
      25.  <a href="link3.html"><span class="bold">third item</span></a>
      26.  <class 'pyquery.pyquery.PyQuery'>
      27.  link3.html
      1. # 当返回结果包含多个节点时，调用attr()方法，只会得到第一个节点的属性。如果想获取所有返回的节点的属性，就要用到遍历了

    • 获取文本

      1.  from pyquery import PyQuery
      2.  
      3.  html = '''
      4.  <div id="container">
      5.      <ul class="list">
      6.           <li class="item-0">first item</li>
      7.           <li class="item-1"><a href="link2.html">second item</a></li>
      8.           <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      9.           <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      10.           <li class="item-0"><a href="link5.html">fifth item</a></li>
      11.       </ul>
      12.  </div>
      13.  '''
      14.  
      15.  doc = PyQuery(html)
      16.  li = doc('li')
      17.  
      18.  print(
      19.      li.html(),                  # 获取节点的内部文本
      20.      li.text(),                  # 获取节点文本，返回结果是纯文字内容
      21.      type(li.text()),
      22.      sep='\n'
      23.  )
      24.  
      25.  # 输出：
      26.  first item
      27.  first item second item third item fourth item fifth item
      28.  <class 'str'>

  • 节点操作

    • add_class() 和 remove_class() ---- 添加class、移除class

      1.  from pyquery import PyQuery
      2.  
      3.  html = '''
      4.  <div id="container">
      5.      <ul class="list">
      6.           <li class="item-0">first item</li>
      7.           <li class="item-1"><a href="link2.html">second item</a></li>
      8.           <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      9.           <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      10.           <li class="item-0"><a href="link5.html">fifth item</a></li>
      11.       </ul>
      12.  </div>
      13.  '''
      14.  
      15.  doc = PyQuery(html)
      16.  li = doc('.item-0.active')
      17.  
      18.  print(li)
      19.  print(li.remove_class('active'))
      20.  print(li.add_class('active'))
      21.  
      22.  # 输出：
      23.  <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      24.  
      25.  <li class="item-0"><a href="link3.html"><span class="bold">third item</span></a></li>
      26.  
      27.  <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      28.

    • attr、text 和 html

      1. # attr(*args, **kwargs) ---- Attributes manipulation
        # text(value=no_default, **kwargs) ---- Get or set the text representation of sub nodes.
        # html(value=no_default, **kwargs) ---- Get or set the html representation of sub nodes.
      1.  from pyquery import PyQuery
      2.  
      3.  html = '''
      4.  <div id="container">
      5.      <ul class="list">
      6.           <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      7.       </ul>
      8.  </div>
      9.  '''
      10.  
      11.  doc = PyQuery(html)
      12.  
      13.  li = doc('.item-0.active')
      14.  print(li)
      15.  
      16.  li.attr('name', 'link')         # 添加属性name，属性值为link
      17.  print(li)
      18.  
      19.  li.text('change item')          # 将节点内部的内容改为'change item'
      20.  print(li)
      21.  
      22.  li.html('<span>change item</span>')         # 将节点内部的内容改为'<span>change item</span>'
      23.  print(li)
      24.  
      25.  # 输出：
      26.  <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      27.  
      28.  <li class="item-0 active" name="link"><a href="link3.html"><span class="bold">third item</span></a></li>
      29.  
      30.  <li class="item-0 active" name="link">change item</li>
      31.  
      32.  <li class="item-0 active" name="link"><span>change item</span></li>

    • remove()----删除节点

      1.  from pyquery import PyQuery
      2.  
      3.  html = '''
      4.  <div class="LeeHua">
      5.  LiYihua
      6.  <ul class="201802004731">liyihua</ul>
      7.  </div>
      8.  '''
      9.  
      10.  doc = PyQuery(html)
      11.  Leehua = doc('.LeeHua')
      12.  print("移除节点ul前的输出：\n"+Leehua.text())
      13.  
      14.  Leehua.find('ul').remove()
      15.  print("移除节点ul后的输出：\n"+Leehua.text())
      16.  
      17.  # 输出：
      18.  移除节点ul前的输出：
      19.  LiYihua
      20.  liyihua
      21.  移除节点ul后的输出：
      22.  LiYihua

  • 伪类选择器

    • 示例：

      1.  from pyquery import PyQuery
      2.  
      3.  html = '''
      4.  <div class="wrap">
      5.      <div id="container">
      6.          <ul class="list">
      7.              <li class="item-0">first item</li>
      8.              <li class="item-1"><a href="link2.html">second item</a></li>
      9.              <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
      10.              <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      11.              <li class="item-0"><a href="link5.html">fifth item</a></li>
      12.          </ul>
      13.      </div>
      14.  </div>
      15.  '''
      16.  
      17.  doc = PyQuery(html)
      18.  
      19.  # 选择属于父元素的第一个子元素的每个 <li> 元素。
      20.  li = doc('li:first-child')
      21.  print(li)
      22.  
      23.  # 选择属于父元素的最后一个子元素的每个 <li> 元素。
      24.  li = doc('li:last-child')
      25.  print(li)
      26.  
      27.  # 选择属于其父元素的第二个子元素的每个 <li> 元素
      28.  li = doc('li:nth-child(2)')
      29.  print(li)
      30.  
      31.  # 选择属于其父元素的最后两个子元素的每个 <li> 元素
      32.  li = doc('li:gt(2)')
      33.  print(li)
      34.  
      35.  # 选择属于父元素的第偶个子元素的每个 <li> 元素。
      36.  li = doc('li:nth-child(2n)')
      37.  print(li)
      38.  
      39.  # 选择包含'second'的每个元素
      40.  li = doc('li:contains(second)')
      41.  print(li)
      42.  
      43.  # 输出：
      44.  <li class="item-0">first item</li>
      45.  
      46.  <li class="item-0"><a href="link5.html">fifth item</a></li>
      47.  
      48.  <li class="item-1"><a href="link2.html">second item</a></li>
      49.  
      50.  <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      51.              <li class="item-0"><a href="link5.html">fifth item</a></li>
      52.  
      53.  <li class="item-1"><a href="link2.html">second item</a></li>
      54.              <li class="item-1 active"><a href="link4.html">fourth item</a></li>
      55.  
      56.  <li class="item-1"><a href="link2.html">second item</a></li>
      57.

      CSS 选择器的用法：http://www.w3school.com.cn/cssref/css_selectors.asp

使用pyquery的更多相关文章

  1. pyquery的问题

    在使用pyquery时发现一些问题, 1.爬取的html中如果有较多的错误时,不能很好的补全. 2.如果要获取某个class中的内容时,如果内容太多不能取完整!只能取一部分. 这个在现在的最新版本中还 ...

  2. python爬虫神器PyQuery的使用方法

    你是否觉得 XPath 的用法多少有点晦涩难记呢? 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢? 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢? 你是否已经有了一些 ...

  3. windows下python安装pyquery

    安装pyquery之前首先要明确一点,easyinstall 是一款python包管理器,类似于node的npm,用于安装python的扩展包,它安装的包是以*.egg的方式. 要安装pq需要经历以下 ...

  4. Python开发包推荐系列之xml、html解析器PyQuery

    使用python,喜欢她的简洁是一方面,另外就是它有着丰富的开发包 好用又方便 接下来会给大家推荐一系列很赞的开发包. 在解析html.xml过程中,我们有不少的包可以用.比如bs.lxml.xmlt ...

  5. python - PyQuery

    偶尔的机会,知道这么个扩展,手贱翻了下文档,发现似乎挺有意思,遂记录一二. what: 这是一个python版本的jquery,而且是后端执行的,至少官方是这么说的: pyquery allows y ...

  6. 【pyQuery】抓取startup news首页

    #! /usr/bin/python # coding: utf-8 from pyquery import PyQuery c=PyQuery('http://news.dbanotes.net/' ...

  7. 【pyQuery分析实例】分析体育网冠军联盟比赛成绩

    目标地址:http://www.espncricinfo.com/champions-league-twenty20-2012/engine/match/574265.html liz@nb-liz: ...

  8. 【PyQuery】PyQuery总结

    pyquery库是jQuery的Python实现,可以用于解析HTML网页内容, 官方文档地址是:http://packages.python.org/pyquery/. 二.使用方法 ? 1 fro ...

  9. win7下python安装pyquery

    安装pyquery之前首先要明确一点,easyinstall 是一款python包管理器,类似于node的npm,用于安装python的扩展包,它安装的包是以*.egg的方式. 要安装pq需要经历以下 ...

  10. Python抓取页面中超链接(URL)的三中方法比较(HTMLParser、pyquery、正则表达式) <转>

    Python抓取页面中超链接(URL)的3中方法比较(HTMLParser.pyquery.正则表达式) HTMLParser版: #!/usr/bin/python # -*- coding: UT ...

随机推荐

  1. 11 种在大多数教程中找不到的JavaScript技巧

    当我开始学习JavaScript时,我把我在别人的代码.code challenge网站以及我使用的教程之外的任何地方发现的每一个节省时间的技巧都列了一个清单. 在这篇文章中,我将分享11条我认为特别 ...

  2. 30 分钟快速入门 Docker 教程

    原文地址:梁桂钊的博客 博客地址:http://blog.720ui.com 欢迎关注公众号:「服务端思维」.一群同频者,一起成长,一起精进,打破认知的局限性. 一.欢迎来到 Docker 世界 1. ...

  3. postgresql从库搭建--逻辑复制

    1 物理复制及逻辑复制对比 前文做了PostgreSQL物理复制的部署,其有如下主要优点 物理层面完全一致,是主要的复制方式,其类似于Oracle的DG 延迟低,事务执行过程中产生REDO recor ...

  4. [Python] 豆瓣电影top250爬虫

    1.分析 <li><div class="item">电影信息</div></li> 每个电影信息都是同样的格式,毕竟在服务器端是用 ...

  5. golang的生产者消费者模型示例

    package main import "fmt" func Producer(ch chan int) { for i := 1; i <= 10; i++ { ch &l ...

  6. web动态站面试题

    1.简述 tomcat 的启动过程? 答:Tomcat 启动--> 读取自己的 server.xml-->根据 Context 标签的内容找到项目目录. 项目入口 path-->读取 ...

  7. 阿里巴巴开源 Dragonwell JDK 最新版本 8.1.1-GA 发布

    导读:新版本主要有三大变化:同步了 OpenJDK 上游社区 jdk8u222-ga 的最新更新:带来了正式的 feature:G1ElasticHeap:发布了用户期待的 Windows 实验版本 ...

  8. 2. SOFAJRaft源码分析—JRaft的定时任务调度器是怎么做的？

    看完这个实现之后,感觉还是要多看源码,多研究.其实JRaft的定时任务调度器是基于Netty的时间轮来做的,如果没有看过Netty的源码,很可能并不知道时间轮算法,也就很难想到要去使用这么优秀的定时调 ...

  9. AppBoxFuture: 服务模型的在线调试

      框架内的服务模型(ServiceModel)用于处理各类业务逻辑(如最简单的CRUD操作),在设计时以类似于伪代码的形式存在,发布时后端会通过Roslyn转换并编译为运行时代码.为了方便开发者更简 ...

  10. angular之跨域

    一.什么是跨域? 跨域是指一个域下的文档或者脚本去请求另一个域下的资源.(广义) 广义的跨域: 1.资源跳转:链接跳转.重定向.表单提交. 2.资源嵌入:<link>.<script ...