pyquery解析库的介绍和使用

### pyquery的介绍和使用

## 测试文本

text = '''

<html><head><title>there is money</title></head>

<body>

<p class="title" name="dmr"><b>there is money</b>contents</p>

<p class="money">good good study, day day up

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

</p>

<p class='body'>...</p>

'''

1. pyquery对象初始化，html字符串，url，file皆可

## pyquery对象初始化，html字符串，url，file皆可

from pyquery import PyQuery as pq

import requests

# html字符串初始化

doc = pq(text)

print(doc('a'))

# url初始化

doc = pq(requests.get('https://www.baidu.com').text)

print(doc('title'))

# 读取文件内容初始化，编码格式为GBK，当有不可识别字符时会报错，可通过open指定编码格式为utf-8来解决

# doc = pq(filename='text')

# print(doc('li'))

2. 基本CSS选择器

## 基本CSS选择器

from pyquery import PyQuery as pq

doc = pq(text)

print(type(doc))

print(doc('.money a'))

print(doc('.money #l1'))

'''

输出内容：

<class 'pyquery.pyquery.PyQuery'>

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

'''

输出内容

3. 查找节点，返回一个PyQuery对象，当匹配到多个节点时，PyQuery对象值为多个节点的字符串整合

## 查找节点，返回一个PyQuery对象，当匹配到多个节点时，PyQuery对象值为多个节点的字符串整合

from pyquery import PyQuery as pq

doc = pq(text)

items = doc('p')

print(items)

print(type(items))

# 查找子节点

print(items.children('#l2'))

print('--------------------分隔符------------------')

# 查找父节点

print(items.parent())

print('--------------------分隔符------------------')

print(items.parents('html'))

print('--------------------分隔符------------------')

## 查找兄弟节点

print(items('#l2').siblings())

'''

输出内容：

<p class="title" name="dmr"><b>there is money</b></p>

<p class="money">good good study, day day up

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

</p>

<p class="body">...</p>

<class 'pyquery.pyquery.PyQuery'>

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and 

--------------------分隔符------------------

<body>

<p class="title" name="dmr"><b>there is money</b></p>

<p class="money">good good study, day day up

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

</p>

<p class="body">...</p>

</body>

--------------------分隔符------------------

<html><head><title>there is money</title></head>

<body>

<p class="title" name="dmr"><b>there is money</b></p>

<p class="money">good good study, day day up

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

</p>

<p class="body">...</p>

</body></html>

--------------------分隔符------------------

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

'''

输出内容

4. 遍历，通过PyQuery对象的items方法可以把匹配到多个节点的PyQuery对象构造成一个生成器

## 遍历，通过PyQuery对象的items方法可以把匹配到多个节点的PyQuery对象构造成一个生成器

from pyquery import PyQuery as pq

doc = pq(doc)

print(doc('a'))

items = doc('a').items()

print(type(items))

for i, item in enumerate(items):

    print(i, item, type(item))

'''

输出内容：

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

<class 'generator'>

0 <a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

 <class 'pyquery.pyquery.PyQuery'>

1 <a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

 <class 'pyquery.pyquery.PyQuery'>

2 <a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

 <class 'pyquery.pyquery.PyQuery'>

'''

输出内容

5. 获取属性和文本

## 获取属性和文本

from pyquery import PyQuery as pq

doc = pq(doc)

# 获取属性，当多个节点时，同上，用items方法构造生成器然后进行遍历输出

a = doc('.error.ed2')

print(a, type(a))

print(a.attr('href'))

print(a.attr.href)

'''

输出结果：

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and

 <class 'pyquery.pyquery.PyQuery'>

https://www.baidu.com/2

https://www.baidu.com/2

'''

## 获取文本

from pyquery import PyQuery as pq

doc = pq(text)

print(doc('a.error'))

# 第一个a节点文本内容为注释内容，所以不输出

print(doc('a.error').text())  # 只输出节点内的文本内容

print(doc('a.error').html())  # 输出节点内的内容，包含标签内容

items = doc('a.error').items()

for i, item in enumerate(items):

    print(i, type(item), item.text())

    print(i, type(item), item.html())

'''

输出内容：

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

 2 3

<span><!-- 1 --></span>

0 <class 'pyquery.pyquery.PyQuery'>

0 <class 'pyquery.pyquery.PyQuery'> <span><!-- 1 --></span>

1 <class 'pyquery.pyquery.PyQuery'> 2

1 <class 'pyquery.pyquery.PyQuery'> <span>2</span>

2 <class 'pyquery.pyquery.PyQuery'> 3

2 <class 'pyquery.pyquery.PyQuery'> 3

'''

6. 节点操作

## 节点操作

from pyquery import PyQuery as pq

doc = pq(text)

p = doc('.title')


# addClass和removeClass，增加或减少class属性值

p.add_class('admin')

print(p.attr.class_)

p.removeClass('title')

print(p.attr('class'))


# attr、text和html，修改属性、文本、HTML文本内容

print(p.attr.name)

print(p.text())

print(p.html())

p.attr('name', 'test')

print(p.attr.name)

p.text('change text')

print(p.text())

p.html('<span>change html</span>')

print(p.html())


# remove，移除节点

doc = pq(text)

p = doc('.title')

print(p.html())

p.remove('b')

print(p.html())

'''

输出内容：

title admin

admin

dmr

there is money

<b>there is money</b>

test

change text

<span>change html</span>

<b>there is money</b>contents

 contents

'''

输出内容

7. 伪类编辑器

# 伪类编辑器

from pyquery import PyQuery as pq

doc = pq(text)

# 第一个a节点

a = doc('a:first-child')

print(a)

# 最后一个a节点

a = doc('a:last-child')

print(a)

# 第二个a节点

a = doc('a:nth-child(2)')

print(a)

# 第0个节点之后的节点

a = doc('a:gt(0)')

print(a)

# 偶数位置的节点

a = doc('a:nth-child(2n)')

print(a)

# 文本内容包含3的节点

a = doc('a:contains("3")')

print(a)

'''

输出内容：

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and 

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

<a href="https://www.baidu.com/2" class="error ed2" id="l2"><span>2</span></a> and 

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

'''

pyquery解析库的介绍和使用的更多相关文章

【Python爬虫】PyQuery解析库
PyQuery解析库阅读目录初始化基本CSS选择器查找元素遍历获取信息 DOM操作伪类选择器 PyQuery 是 Python 仿照 jQuery 的严格实现.语法与 jQuery 几乎 ...
Python3 BeautifulSoup和Pyquery解析库随笔
BeautifuSoup和Pyquery解析库方法比较 1.对象初始化: BeautifySoup库: from bs4 import BeautifulSoup html = 'html strin ...
BeautifulSoup解析库的介绍和使用
### BeautifulSoup解析库的介绍和使用 ### 三大选择器:节点选择器,方法选择器,CSS选择器 ### 使用建议:方法选择器 > CSS选择器 > 节点选择器 ## 测试文 ...
第四节：Web爬虫之pyquery解析库
PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严 ...
pyquery解析库
这一篇整理一下pyquery这个解析库.还是菜,若有错误的地方,欢迎大家随时指正.......(come on.......) pyquery:是一个css选择器,再使用时,也需要传入HTML文本来初 ...
Pyquery解析库的安装和使用
Pyquery同样是一个强大的网页解析工具,它提供了和jQuery类似的语法来解析HTML文档,支持CSS选择器,使用非常方便.GitHub:https://github.com/gawel/pyqu ...
xpath beautiful pyquery三种解析库
这两天看了一下python常用的三种解析库,写篇随笔,整理一下思路.太菜了,若有错误的地方,欢迎大家随时指正.......(conme on.......) 爬取网页数据一般会经过获取信息-> ...
Python爬虫3大解析库使用导航
1. Xpath解析库 2. BeautifulSoup解析库 3. PyQuery解析库
pyquery 的用法 --爬虫解析库
如果你对Web有所涉及,如果你比较喜欢用CSS选择器,如果你对jQuery有所了解,那么这里有一个更适合你的解析库--pyquery. 接下来,我们就来感受一下pyquery的强大之处. 1. 准备工 ...

随机推荐

[no code][scrum meeting] Beta 11
$( "#cnblogs_post_body" ).catalog() 例会时间:5月26日11:30,主持者:肖思炀下次例会时间:5月27日11:30,主持者:乔玺华一.工作 ...
PCB电路板元器件布局的一般原则*（转）
PCB电路板元器件布局的一般原则: 设计人员在PCB电路板布局过程中需要遵循的一般原则如下. (1)元器件最好单面放置.如果需要双面放置元器件,在底层(Bottom Layer)放置插针式元器件, ) ...
ESD
Reverse standoff voltage是保护二极管的反向工作电压, 在这个电压, 二极管是不工作的. Breakdown voltage 是二极管的击穿电压, 超过这个电压后, 二极管迅速反 ...
最新JS正则表达式验证手机号码（2019）
根据移动.联通.电信的电话号码号段,实现一个简单的正则表达式来验证手机号码: // 手机号校验 export function isPhoneNumber(phoneNum) { // let reg ...
链表中倒数第K个结点牛客网程序员面试金典 C++ Python
链表中倒数第K个结点牛客网程序员面试金典 C++ Python 题目描述输入一个链表,输出该链表中倒数第k个结点. C++ /* struct ListNode { int val; struc ...
HTML基础-3
图像标签(<img>)和源属性(Src) 在 HTML 中,图像由 <img> 标签定义. <img> 是空标签,意思是说,它只包含属性,并且没有闭合标签. 要在页 ...
PWN学习之格式化字符串漏洞
目录 PWN学习之格式化字符串漏洞格式化输出函数格式化字符串漏洞漏洞利用使程序崩溃栈数据泄露任意地址内存泄漏栈数据覆盖任意地址内存覆盖 PWN学习之格式化字符串漏洞格式化输出函数可 ...
修改openstack镜像--支持root密码登陆
一.前言从openstack官方下载的云镜像一般都是普通用户密钥登陆,比如centos镜像的普通用户为centos,ubuntu镜像的普通用户为ubuntu,虽然密钥登陆系统相比密码登陆来说比较方便 ...
oracle 定时任务增、删、改、查
增: 创建一个计划任务 begin sys.dbms_job.submit(job=>:job, what=>'要定时执行的存储过程名:',--例如:包名.存储过程名; 记得写分号 ne ...
CentOS7 导入oracle数据
1.切换到 oracle用户 #su - oracle 2.导入(一般的不会导入到sys账号下) #imp sys/密码@orcl file=/home/oracle/20200428.dmp fro ...

pyquery解析库的介绍和使用

pyquery解析库的介绍和使用的更多相关文章

随机推荐

热门专题