PyQuery是解析页面常用的库.是python对jquery的封装.
下面是一份解析基本页面的代码.后期用到复杂或者实用的方式再增加.

 from pyquery import PyQuery as pq

 # 参数为字符串的情况

 html_str = "<html></html>"

 # 参数为网页链接（需带 http：//）

 your_url = "http://www.baidu.com"

 # 参数为文件

 path_to_html_file = "hello123.html"

 # 将参数传入pq库之后得到html页面

 # d = pq(html_str)

 # d = pq(etree.fromstring(html_str))

 # d = pq(url=your_url)

 # d = pq(url=your_url,

 #        opener=lambda url, **kw: urlopen(url).read())

 d = pq(filename=path_to_html_file)

 # 此时的'd'相当于Jquery的'$',选择器,可以通过标签,id,class等选择元素

 # 通过id选择

 table = d("#my_table")

 # 通过标签选择

 head = d("head")

 # 通过样式选择,多个样式写一起,使用逗号隔开即可

 p = d(".p_font")

 # 获取标签内的文本

 text = p.text()

 print text

 # 获取标签的属性值

 t_class = table.attr('class')

 print t_class

 # 遍历标签内的选项

 # 打印表格中的td中的文字

 for item in table.items():

     # 这个循环只循环一次,item仍然是pquery的对象

     print item.text()

 for item in table('td'):

     # 这个循环循环多次,item是html的对象

     print item.text

用于测试的html代码:

 1 
 2     <head>
 3         <title>Test</title>

     </head>

     <body>

         <h1>Parse me!</h1>

         <img src = "" />

         <p>A paragraph.</p>

                 <p class = "p_font">A paragraph with class.</p>

                 <!-- comment -->

         <div>

             <p>A paragraph in div.</p>

         </div>

         <table id = "my_table" class = "test-table">

         <thead>

         </thead>

         <tbody>

             <tr>

                 <td>Month</td>

                 <td>Savings</td>

             </tr>

             <tr>

                 <td>January</td>

                 <td>$100</td>

             </tr>

         </tbody>

         </table>

     </body>

 </html>

分析html的结果输出如下:

A paragraph with class.
test-table
Month Savings January $100
Month
Savings
January
$100

由于使用python2,有的网页使用requests直接抓取下来放入pyquery()里面会出编码问题,这时使用unicode()转换一下即可.部分代码如下:

import requests

from pyquery import PyQuery as pq

r = requests.get('http://www.baidu.com')

# d = pq(r.content)

u = unicode(r.content, 'utf-8')

d = pq(u)

Python爬虫常用之PyQuery的更多相关文章

  1. Python爬虫常用小技巧之设置代理IP

    设置代理IP的原因 我们在使用Python爬虫爬取一个网站时,通常会频繁访问该网站.假如一个网站它会检测某一段时间某个IP的访问次数,如果访问次数过多,它会禁止你的访问.所以你可以设置一些代理服务器来 ...

  2. 爬虫-Python爬虫常用库

    一.常用库 1.requests 做请求的时候用到. requests.get("url") 2.selenium 自动化会用到. 3.lxml 4.beautifulsoup 5 ...

  3. python爬虫常用第三方库

    这个列表包含与网页抓取和数据处理的Python库 网络 通用 urllib -网络库(stdlib). requests -网络库. grab – 网络库(基于pycurl). pycurl – 网络 ...

  4. 芝麻HTTP： Python爬虫利器之PyQuery的用法

    前言 你是否觉得 XPath 的用法多少有点晦涩难记呢? 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢? 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢? 你是否已经有 ...

  5. Python 爬虫常用的库

    一.常用库 1.requests 做请求的时候用到. requests.get("url") 2.selenium 自动化会用到. 3.lxml 4.beautifulsoup 5 ...

  6. 【Python爬虫】安装 pyQuery 遇到的坑 Could not find function xmlCheckVersion in library libxml2. Is libxml2 installed?

    windows 64位操作系统下,用 Python 抓取网页,并用 pyQuery 解析网页 pyQuery是jQuery在python中的实现,能够以jQuery的语法来操作解析HTML文档,十分方 ...

  7. Python爬虫常用之HtmlParser

    HtmlParser,顾名思义,是解析Html的一个工具.python自带的. 一.常用属性和方法介绍 HtmlParser是一个类,在使用时一般继承它然后重载它的方法,来达到解析出需要的数据的目的. ...

  8. Python爬虫常用库安装

    建议更换pip源到国内镜像,下载会快很多:https://www.cnblogs.com/believepd/p/10499844.html requests pip3 install request ...

  9. python爬虫常用库和安装 -- windows7环境

    1:urllib  python自带 2:re      python自带 3:requests     pip install requests 4:selenium      需要依赖chrome ...

随机推荐

  1. SQL语句性能分析常用命令

    DBCC freeproccache DBCC dropcleanbuffers 1.set statistics IO {ON| OFF} /*Transact-SQL 语句生成的磁盘活动量的信息* ...

  2. 【原创】boost::recursive_mutex请小心使用

    recursive_mutex会减少死锁几率?恩看上去的确如此,但是事实上呢?我们从BOOST的官方逻辑去理解: recursive_mutex类可多次进入锁,这样在递归时可以避免一次死锁的几率,这是 ...

  3. Robot Framework - 基础关键字 BuiltIn 库（二）

    本篇教程,我们继续接着上篇内容进行讲解,我们本节教程讲解的是Robot Framework 机器人框架中的变量中使用判断.字符串的拼接.Evaluate的用法.调用Python文件.条件分支语句.以及 ...

  4. UIPopoverController 简单用法（全代码）

     AppDelegate.m - (BOOL)application:(UIApplication *)application didFinishLaunchingWithOptions:(NSDic ...

  5. 编写高质量代码改善C#程序的157个建议——建议9： 习惯重载运算符

    建议9: 习惯重载运算符 在开发过程中,应该习惯于使用微软提供给我们的语法特性.我想每个人都喜欢看到这样的语法特性: ; ; int total = x + y; 而不是用下面的语法来完成一样的事情: ...

  6. POJ - 1328 Radar Installation(贪心区间选点+小学平面几何)

    Input The input consists of several test cases. The first line of each case contains two integers n ...

  7. 以太坊系列之十七: 使用web3进行合约部署调用以及监听

    以太坊系列之十七: 使用web3进行智能合约的部署调用以及监听事件(Event) 上一篇介绍了使用golang进行智能合约的部署以及调用,但是使用go语言最大的一个问题是没法持续监听事件的发生. 比如 ...

  8. go与c互相调用

    此例子来自于go源码中,借此来和大家分享一下两者如何调用,网上很多文章语言不详,也没有一个完整的测试例子 目录结构 首先src 目录下有 testcgowin目录下: 这里的_obj目录是cgo生成的 ...

  9. C++ TIM或者QQ 自动发送消息

    简单写了一下 很简单的demo 闲着没事干 #include "stdafx.h" #include <thread> #include <Windows.h&g ...

  10. C# 接口（3）

    这么半天说了如何使用,实现接口.相信也都发现了接口和抽象类很多相似的地方. 但是! 这两个根本就是不一样的. 抽象类 :                                         ...