什么是beautifulsoup:

是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.（官方）
beautifulsoup是一个解析器，可以特定的解析出内容，省去了我们编写正则表达式的麻烦。

Beautiful Soup 3 目前已经停止开发,我们推荐在现在的项目中使用Beautiful Soup 4

beautifulsoup的版本：最新版是bs4

bs4的使用：

1.导入模块：

from bs4 import beautifulsoup

2.选择解析器解析指定内容：

soup=beautifulsoup(解析内容,解析器)

常用解析器：html.parser,lxml,xml,html5lib

有时候需要安装安装解析器：比如pip3 install lxml

BeautifulSoup默认支持Python的标准HTML解析库，但是它也支持一些第三方的解析库：

解析器之间的区别 #此处摘自官方文档

Beautiful Soup为不同的解析器提供了相同的接口,但解析器本身时有区别的.同一篇文档被不同的解析器解析后可能会生成不同结构的树型文档.区别最大的是HTML解析器和XML解析器,看下面片段被解析成HTML结构:
BeautifulSoup("<a></a>")

# <html><head></head><body><a></a></body></html>
因为空标签不符合HTML标准,所以解析器把它解析成

同样的文档使用XML解析如下(解析XML需要安装lxml库).注意,空标签依然被保留,并且文档前添加了XML头,而不是被包含在<html>标签内:
BeautifulSoup("<a></a>", "xml")

# <?xml version="1.0" encoding="utf-8"?>

# <a></a>
HTML解析器之间也有区别,如果被解析的HTML文档是标准格式,那么解析器之间没有任何差别,只是解析速度不同,结果都会返回正确的文档树.

但是如果被解析文档不是标准格式,那么不同的解析器返回结果可能不同.下面例子中,使用lxml解析错误格式的文档,结果标签被直接忽略掉了:
BeautifulSoup("<a>", "lxml")

# <html><body><a></a></body></html>
使用html5lib库解析相同文档会得到不同的结果:
BeautifulSoup("<a>", "html5lib")

# <html><head></head><body><a></a></body></html>
html5lib库没有忽略掉标签,而是自动补全了标签,还给文档树添加了<head>标签.

使用pyhton内置库解析结果如下:
BeautifulSoup("<a>", "html.parser")

# <a></a>
与lxml [7] 库类似的,Python内置库忽略掉了标签,与html5lib库不同的是标准库没有尝试创建符合标准的文档格式或将文档片段包含在<body>标签内,与lxml不同的是标准库甚至连<html>标签都没有尝试去添加.

因为文档片段“<a>”是错误格式,所以以上解析方式都能算作”正确”,html5lib库使用的是HTML5的部分标准,所以最接近”正确”.不过所有解析器的结构都能够被认为是”正常”的.

不同的解析器可能影响代码执行结果,如果在分发给别人的代码中使用了 BeautifulSoup ,那么最好注明使用了哪种解析器,以减少不必要的麻烦.

3.操作【约定soup是beautifulsoup(解析内容,解析器)返回的解析对象】：

使用标签名查找

使用标签名来获取结点：

soup.标签名

使用标签名来获取结点标签名【这个重点是name，主要用于非标签名式筛选时，获取结果的标签名】：

soup.标签.name

使用标签名来获取结点属性：

soup.标签.attrs【获取全部属性】
soup.标签.attrs[属性名]【获取指定属性】
soup.标签[属性名]【获取指定属性】
soup.标签.get(属性名)

使用标签名来获取结点的文本内容：

soup.标签.text
soup.标签.string
soup.标签.get_text()

补充1：上面的筛选方式可以使用嵌套:

print(soup.p.a)#p标签下的a标签

补充2：以上的name,text,string,attrs等方法都可以使用在当结果是一个bs4.element.Tag对象的时候:

from bs4 import BeautifulSoup

html = """

<html >

<head>

    <meta charset="UTF-8">

    <title>this is a title</title>

</head>

<body>

<p class="news">123</p>

<p class="contents" id="i1">456</p>

<a href="http://www.baidu.com">advertisements</a>

</body>

</html>

"""

soup = BeautifulSoup(html,'lxml')

print("获取结点".center(50,'-'))

print(soup.head)#获取head标签

print(soup.p)#返回第一个p标签

#获取结点名

print("获取结点名".center(50,'-'))

print(soup.head.name)

print(soup.find(id='i1').name)

#获取文本内容

print("获取文本内容".center(50,'-'))

print(soup.title.string)#返回title的内容

print(soup.title.text)#返回title的内容

print(soup.title.get_text())

#获取属性

print("-----获取属性-----")

print(soup.p.attrs)#以字典形式返回标签的内容

print(soup.p.attrs['class'])#以列表形式返回标签的值

print(soup.p['class'])#以列表形式返回标签的值

print(soup.p.get('class'))

#############

t=soup.title

print(type(t))#<class 'bs4.element.Tag'>

print(t.name)#title

print(t.text)

#嵌套选择:

print(soup.head.title.string)

获取子结点【直接获取也会获取到’\n’，会认为’\n’也是一个标签】：

soup.标签.contents【返回值是一个列表】
soup.标签.children【返回值是一个可迭代对象，获取实际子结点需要迭代】

获取子孙结点：

soup.标签.descendants【返回值也是一个可迭代对象,实际子结点需要迭代】

获取父结点：

soup.标签.parent

获取祖先结点[父结点，祖父结点，曾祖父结点…]:

soup.标签.parents【】

获取兄弟结点：

soup.next_sibling【获取后面的一个兄弟结点】
soup.next_siblings【获取后面所有的兄弟结点】【返回值是一个可迭代对象】
soup.previous_sibling【获取前一兄弟结点】
soup.previous_siblings【获取前面所有的兄弟结点】【返回值是一个可迭代对象】

补充3:与补充2一样，上面的函数都可以使用在当结果是一个bs4.element.Tag对象的时候。

from bs4 import BeautifulSoup

html = """

<html lang="en">

<head>

    <meta charset="UTF-8">

    <title>Title</title>

</head>

<body>

<p class="news"><a >123456</a>

    <a >78910</a>

</p><p class="contents" id="i1"></p>

<a href="http://www.baidu.com">advertisements</a>

<span>aspan</span>

</body>

</html>

"""

soup = BeautifulSoup(html, 'lxml')

#获取子结点

print("获取子结点".center(50,'-'))

print(soup.p.contents)

print("\n")

c=soup.p.children#返回的是一个可迭代对象

for i,child in enumerate(c):

    print(i,child)

print("获取子孙结点".center(50,'-'))

print(soup.p.descendants)

c2=soup.p.descendants

for i,child in enumerate(c2):

    print(i,child)

print("获取父结点".center(50,'-'))

c3=soup.title.parent

print(c3)

print("获取父，祖先结点".center(50,'-'))

c4=soup.title.parents

print(c4)

for i,child in enumerate(c4):

    print(i,child)

print("获取兄弟结点".center(50,'-'))

print(soup.p.next_sibling)

print(soup.p.previous_sibling)

for i,child in enumerate(soup.p.next_siblings):

    print(i,child,end='\t')

for i,child in enumerate(soup.p.previous_siblings):

    print(i,child,end='\t')

使用find\find_all方式：

find( name , attrs , recursive , text , **kwargs )【根据参数来找出对应的标签,但只返回第一个符合条件的结果】
find_all( name , attrs , recursive , text , **kwargs ):【根据参数来找出对应的标签,但只返回所有符合条件的结果】
筛选条件参数介绍：

name：为标签名,根据标签名来筛选标签
attrs:为属性,，根据属性键值对来筛选标签，赋值方式可以为:属性名=值,attrs={属性名:值}【但由于class是python关键字，需要使用class_】
text：为文本内容，根据指定文本内容来筛选出标签，【单独使用text作为筛选条件，只会返回text，所以一般与其他条件配合使用】
recursive：指定筛选是否递归，当为False时，不会在子结点的后代结点中查找，只会查找子结点

获取到结点后的结果是一个bs4.element.Tag对象，所以对于获取属性、文本内容、标签名等操作可以参考前面“使用标签筛选结果”时涉及的方法

from bs4 import BeautifulSoup

html = """

<html lang="en">

<head>

    <meta charset="UTF-8">

    <title>Title</title>

</head>

<body>

<p class="news"><a >123456</a>

    <a id='i2'>78910</a>

</p><p class="contents" id="i1"></p>

<a href="http://www.baidu.com">advertisements</a>

<span>aspan</span>

</body>

</html>

"""

soup = BeautifulSoup(html, 'lxml')

print("---------------------")

print(soup.find_all('a'),end='\n\n')

print(soup.find_all('a')[0])

print(soup.find_all(attrs={'id':'i1'}),end='\n\n')

print(soup.find_all(class_='news'),end='\n\n')

print(soup.find_all('a',text='123456'))#

print(soup.find_all(id='i2',recursive=False),end='\n\n')#

a=soup.find_all('a')

print(a[0].name)

print(a[0].text)

print(a[0].attrs)

使用select筛选【select使用CSS选择规则】：

soup.select(‘标签名’),代表根据标签来筛选出指定标签
CSS中#xxx代表筛选id，soup.select(‘#xxx’)代表根据id筛选出指定标签,返回值是一个列表
CSS中.###代表筛选class，soup.select('.xxx')代表根据class筛选出指定标签,返回值是一个列表
嵌套select: soup.select(“#xxx .xxxx”)，如(“#id2 .news”)就是id=”id2”标签下class=”news的标签，返回值是一个列表
获取到结点后的结果是一个bs4.element.Tag对象，所以对于获取属性、文本内容、标签名等操作可以参考前面“使用标签筛选结果”时涉及的方法

from bs4 import BeautifulSoup

html = """

<html lang="en">

<head>

    <meta charset="UTF-8">

    <title>Title</title>

</head>

<body>

<p class="news"><a >123456</a>

    <a id='i2'>78910</a>

</p><p class="contents" id="i1"></p>

<a href="http://www.baidu.com">advertisements</a>

<span class="span1" id='i4'>aspan</span>

</body>

</html>

"""

soup = BeautifulSoup(html, 'lxml')

sp1=soup.select('span')#返回结果是一个列表，列表的元素是bs4元素标签对象

print(soup.select("#i2"),end='\n\n')

print(soup.select(".news"),end='\n\n')

print(soup.select(".news #i2"),end='\n\n')

print(type(sp1),type(sp1[0]))

print(sp1[0].name)#列表里面的元素才是bs4元素标签对象

print(sp1[0].attrs)

print(sp1[0]['class'])

补充4：

对于代码不齐全的情况下，可以使用soup.prettify()来自动补全,一般情况下建议使用，以避免代码不齐。

from bs4 import BeautifulSoup

html = """

<html lang="en">

<head>

    <meta charset="UTF-8">

    <title>Title</title>

</head>

<body>

<p class="news"><a >123456</a>

    <a id='i2'>78910</a>

</p><p class="contents" id="i1"></p>

<a href="http://www.baidu.com">advertisements</a>

<span class="span1" id='i4'>aspan

</html>

"""

soup = BeautifulSoup(html, 'lxml')

c=soup.prettify()#上述html字符串中末尾缺少</span> 和 </body>

print(c)

如果想要获得更详细的介绍，可以参考官方文档，令人高兴的是，有了比较简易的中文版：

https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#id49

python爬虫之Beautifulsoup学习笔记的更多相关文章

Python爬虫框架Scrapy学习笔记原创
字号 scrapy [TOC] 开始 scrapy安装首先手动安装windows版本的Twisted https://www.lfd.uci.edu/~gohlke/pythonlibs/#twi ...
路飞学城Python爬虫课第一章笔记
前言原创文章,转载引用务必注明链接.水平有限,如有疏漏,欢迎指正. 之前看阮一峰的博客文章,介绍到路飞学城爬虫课程限免,看了眼内容还不错,就兴冲冲报了名,99块钱满足以下条件会返还并送书送视频. 缴 ...
使用Python爬虫库BeautifulSoup遍历文档树并对标签进行操作详解（新手必学）
为大家介绍下Python爬虫库BeautifulSoup遍历文档树并对标签进行操作的详细方法与函数下面就是使用Python爬虫库BeautifulSoup对文档树进行遍历并对标签进行操作的实例,都是最 ...
$《利用Python进行数据分析》学习笔记系列——IPython
本文主要介绍IPython这样一个交互工具的基本用法. 1. 简介 IPython是<利用Python进行数据分析>一书中主要用到的Python开发环境,简单来说是对原生python交互环 ...
Python爬虫——用BeautifulSoup、python-docx爬取廖雪峰大大的教程为word文档
版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com 廖雪峰大大贡献的教程写的不错,写了个爬虫把教程保存为word文件,供大家方便下载学习:http://p ...
Python爬虫之BeautifulSoup的用法
之前看静觅博客,关于BeautifulSoup的用法不太熟练,所以趁机在网上搜索相关的视频,其中一个讲的还是挺清楚的:python爬虫小白入门之BeautifulSoup库,有空做了一下笔记: 一.爬 ...
python爬虫之Scrapy学习
在爬虫的路上,学习scrapy是一个必不可少的环节.也许有好多朋友此时此刻也正在接触并学习scrapy,那么很好,我们一起学习.开始接触scrapy的朋友可能会有些疑惑,毕竟是一个框架,上来不知从何学 ...
Python 开发与接口测试学习笔记
这是我跟着虫师学习中积累下来的学习笔记,写得比较简单,适合想学习Python开发与接口测试的初学者学习. 一.开发投票系统 1.参考官网文档,创建投票系统. https://docs.djangopr ...
专业的“python爬虫工程师”需要学习哪些知识？
学到哪种程度暂且把目标定位初级爬虫工程师,简单列一下吧: (必要部分) 熟悉多线程编程.网络编程.HTTP协议相关开发过完整爬虫项目(最好有全站爬虫经验,这个下面会说到) 反爬相关,cookie. ...

随机推荐

使用autogen生成应用程序遇到问题及解决方法
从github上下载的代码,运行autogen.sh的时候,上报错误: $ ./autogen.sh --prefix=/usr./autogen.sh: 10: ./autogen.sh: auto ...
django rest framework serializers解读
serializers是什么?官网是这样的"Serializers allow complex data such as querysets and model instances to b ...
tomcat容器是如何创建servlet类实例？用到了什么原理？
当容器启动时,会读取在webapps目录下所有的web应用中的web.xml文件,然后对 xml文件进行解析,并读取servlet注册信息.然后,将每个应用中注册的servlet类都进行加载,并通过 ...
Spring Bean 的生命周期，如何被管理的？
定义 Bean是一个被实例化,组装,并通过Spring IOC容器(BeanFactory和ApplicationContext容器)所管理的对象. 作用域 Spring支持五个作用域,分别是sing ...
Git工具使用
GIT(分布式版本控制系统) Git是一款免费.开源的分布式版本控制系统,用于敏捷高效地处理任何或小或大的项目.Git的读音为/gɪt/. Git是一个开源的分布式版本控制系统,可以有效.高速的处理从 ...
maven多环境参数配置
maven中properties加载顺序 <build><filters></filters></build>中的配置 pom.xml中的<pro ...
从零开始学 Web 之 JS 高级（二）原型链，原型的继承
大家好,这里是「从零开始学 Web 系列教程」,并在下列地址同步更新...... github:https://github.com/Daotin/Web 微信公众号:Web前端之巅博客园:ht ...
SQL 必知必会·笔记<14>更新和删除数据
1. 更新数据基本的UPDATE语句,由三部分组成: 要更新的表列名和它们的新值确定要更新那些行的过滤条件更新单列示例: UPDATE Customers SET cust_email = ' ...
常见注入手法第四讲,SetWindowsHookEx全局钩子注入.以及注入QQ32位实战.
常见注入手法第四讲,SetWindowsHookEx全局钩子注入.以及注入QQ32位实战. PS:上面是操作.最后是原理一丶需要了解的API 使用全局钩子注入.我们需要了解几个WindowsAPI. ...
springboot+cloud 学习（三）消息中间件 RibbitMQ+Stream
安装RabbitMQ window下安装: (1):下载erlang,原因在于RabbitMQ服务端代码是使用并发式语言erlang编写的,下载地址:http://www.erlang.org/dow ...

python爬虫之Beautifulsoup学习笔记

相关内容：

什么是beautifulsoup:

bs4的使用：

1.导入模块：

2.选择解析器解析指定内容：

解析器之间的区别 #此处摘自官方文档

3.操作【约定soup是beautifulsoup(解析内容,解析器)返回的解析对象】：

使用标签名查找

使用find\find_all方式：

使用select筛选【select使用CSS选择规则】：

python爬虫之Beautifulsoup学习笔记的更多相关文章

随机推荐

热门专题