PyQuery

目前最新的版本是1.3，基于最新版本进行介绍。

主要根据PyQuery的官方文档进行了更新。

from pyquery import PyQuery as pq

from lxml import etree

import urllib


doc=pq('<p id="hello" class="hello"></p>')#解析文档的基本方法

p=doc('p')#获取p标签


print(p.attr('id'))#获取p标签的id属性的值

p.attr('id','plop')#改变p标签的id属性的值为plop

print(p.attr('id'))

p.attr.id='snow'#使用python的方式改变id属性

print(p.attr.id)

p.attr['id']='ola'

print(p.attr['id'])

p.attr(id='hello',class_='hello2')

print(p)


hello

plop

snow

ola

<p id="hello" class="hello2"/>

CSS内容

p.add_class('toto')#增加class内容

# print(p)

p.toggle_class('titi toto')#切换class内容

# print(p)

p.remove_class('titi')#移除class

# print(p)

#添加style，以font-size为例

p.css.font_size='16px'

p.css['font-size']='16px'

p.css={'font-size':'17px'}

Manipulating

#向标签内容的尾部添加一些string

p.append(' check out <a href="http://www.baidu.com">百度一下</a>')

#pp()

#也可以向标签的头部添加

p.prepend('hello again! ')

#pp()

#或者使用这两个命令添加到其他文档或者标签的内容中

d=pq('<html><body><div id="test"><a href="http://python.org">python</a> !</div></body></html>')

p.prepend_to(d('#test'))#将p的内容添加到d的id为test的标签里面，占据最开始的位置

#print(d('#test').html())#打印出id为test的标签的内容

p.insert_after(d('#test'))#把p标签放在id为test的标签后面

#print(d('body').html())

p.insert_before(d('#test'))#把p标签插入到id为test的标签前面

#print(d('body').html())#可以看出来，p插入到了id为test的标签的前面

#移除一个元素

d=pq('<html><body><p id="id">Yeah!</p><p>python rocks !</p></div></html>')

d.remove('p#id')#移除了p标签的id属性

#print(d('body').html())

#将标签的内容移除

d('p').empty()

#print(d('p'))

#可以将两个PyQuery对象连接起来：

print(pq('<div>Yeah !</div>').add_class('myclass') + pq('<b>cool</b>'))

Traversing

d = pq('<p id="hello1" class="test1"><a>1</a></p><p id="hello2" class="test2"><a>2</a></p>')

#print(d('p').filter('.test1'))#按类选择，class名为test1的p标签。

#print(d('p').filter('#hello2'))#按id选择，id名为hello2的p标签

#print(d('p').eq(0))#第一个p标签

#print(d('p').eq(1))#第二个p标签

"""Return PyQuery of only the element with the provided index:

    >>> d = PyQuery('<p class="hello">Hi</p><p>Bye</p><div></div>')

    >>> d('p').eq(0)

    [<p.hello>]

    >>> d('p').eq(1)

    [<p>]

    >>> d('p').eq(2)

    []

"""

#查询嵌套的元素

#print(d('p').find('a'))

#print(d('p').eq(1).find('a'))

API

http://pythonhosted.org/pyquery/api.html

请参考官方文档的介绍。

Scraping

#PyQuery可以使用url载入html文档，默认使用python的urllib库

print(pq('http://www.baidu.com'))

#如果安装了request库，也可以使用并且可以使用requests的大多参数

pq('http://duckduckgo.com/', headers={'user-agent': 'pyquery'})

pq('https://duckduckgo.com/', {'q': 'foo'}, method='post', verify=True)

如果您觉得感兴趣的话，可以添加我的微信公众号：一步一步学Python

爬虫入门【5】PyQuery简介的更多相关文章

  1. Python网络爬虫入门篇

    1.  预备知识 学习者需要预先掌握Python的数字类型.字符串类型.分支.循环.函数.列表类型.字典类型.文件和第三方库使用等概念和编程方法. 2. Python爬虫基本流程 a. 发送请求 使用 ...

  2. Python爬虫入门教程 43-100 百思不得姐APP数据-手机APP爬虫部分

    1. Python爬虫入门教程 爬取背景 2019年1月10日深夜,打开了百思不得姐APP,想了一下是否可以爬呢?不自觉的安装到了夜神模拟器里面.这个APP还是比较有名和有意思的. 下面是百思不得姐的 ...

  3. Python 入门之Python简介

    Python 入门之Python简介 1.Python简介: (1) Python的出生: ​ python的创始人为吉多·范罗苏姆(Guido van Rossum)(中文名字:龟叔).1989年的 ...

  4. Python基础及爬虫入门

    **写在前面**我们在学习任何一门技术的时候,往往都会看很多技术博客,很多程序员也会写自己的技术博客.但是我想写的这些不是纯技术博客,我暂时也没有这个能力写出 Python 或者爬虫相关的技术博客来. ...

  5. Python爬虫入门（二）之Requests库

    Python爬虫入门(二)之Requests库 我是照着小白教程做的,所以该篇是更小白教程hhhhhhhh 一.Requests库的简介 Requests 唯一的一个非转基因的 Python HTTP ...

  6. 爬虫入门五 gooseeker

    title: 爬虫入门五 gooseeker date: 2020-03-16 16:00:00 categories: python tags: crawler gooseeker是一个简单的爬虫软 ...

  7. 爬虫入门四 re

    title: 爬虫入门四 re date: 2020-03-14 16:49:00 categories: python tags: crawler 正则表达式与re库 1 正则表达式简介 编译原理学 ...

  8. 爬虫入门三 scrapy

    title: 爬虫入门三 scrapy date: 2020-03-14 14:49:00 categories: python tags: crawler scrapy框架入门 1 scrapy简介 ...

  9. 爬虫入门二 beautifulsoup

    title: 爬虫入门二 beautifulsoup date: 2020-03-12 14:43:00 categories: python tags: crawler 使用beautifulsou ...

  10. Python简单爬虫入门三

    我们继续研究BeautifulSoup分类打印输出 Python简单爬虫入门一 Python简单爬虫入门二 前两部主要讲述我们如何用BeautifulSoup怎去抓取网页信息以及获取相应的图片标题等信 ...

随机推荐

  1. selenium 的页面对象模型Page Object

    页面对象模型page object model是selenium中的一种脚本设计模式,它能将页面元素封装起来,与业务操作分隔开, 在页面变化改变时,无需去修改业务逻辑代码,提高脚本维护的效率. 1.p ...

  2. call、aply、bind的常用方法总结

    类函数变为数组 function aaa (){ Array.prototype.slice(arguments); } 进一步操作它的每个元素 function bbb() { Array.prot ...

  3. Laravel之事件

    一.事件 事件无处不在,比如用户登录.购买商品.搜索.查看文章,等等,都是事件,有了事件,就有事件监听器,事件监听器监听到事件发生后会执行一些操作,Laravel使用观察者模式来实现这种监听机制.本节 ...

  4. Laravel之控制器

    一.简介 将所有的请求处理逻辑都放在单个routes.php 中肯定是不合理的,你也许还希望使用控制器类组织管理这些行为.控制器可以将相关的 HTTP 请求封装到一个类中进行处理.通常控制器存放在ap ...

  5. Asp.net Mvc使用PagedList分页

    git:https://github.com/troygoode/PagedList 1. Nuget 安装package watermark/2/text/aHR0cDovL2Jsb2cuY3Nkb ...

  6. 深入解析alloc/retain/release/dealloc实现

    首先通过GNUstep上得源码来叙述各个函数的实现(GNUstep是Cocoa框架的互换框架,二者的行为和实现方式很相似) GNUstep源码中NSObject类的alloc方法: id = obj ...

  7. Maven-百度百科

    Maven项目对象模型(POM),可以通过一小段描述信息来管理项目的构建,报告和文档的软件项目管理工具. Maven 除了以程序构建能力为特色之外,还提供高级项目管理工具.由于 Maven 的缺省构建 ...

  8. Android插件化开发，初入殿堂

    好久没有写博客了,这次准备写写我这几天的研究成果--Android插件化开发框架CJFrameForAndroid. 好久没有写博客了,这次准备写写我这几天的研究成果--Android插件化开发框架C ...

  9. VS2012 未找到与约束ContractName Microsoft.VisualStudio.Text.ITextDocumentFactoryService 未找到与约束ContractName，无法打开项目的解决方案 SQLyog 注册码

    VS2012 未找到与约束ContractName Microsoft.VisualStudio.Text.ITextDocumentFactoryService   最近新换了系统还真是问题多多呀! ...

  10. .NET CORE 2.0小白笔记（五）：配置的热更新、配置的框架设计

    配置的热更新 什么是热更新:一般来说,我们创建的项目都无法做到热更新:即项目无需重启,修改配置文件后读取到的信息就是修改配置之后的 我们只需要吧项目中用到的IOptions改成IOptionsSnap ...