万字博文让我们携手一起走进bs4的世界【python Beautifulsoup】bs4入门 find()与find_all()

目录

Beautiful Soup

BeautifulSoup类的基本元素

1.Tag的name

2.Tag的attrs（属性）

3.Tag的NavigableString

二、遍历文档树

下行遍历

.contents

.children

标签树的上行遍历

标签树的平行遍历

三、bs4库的prettify()方法

四、获取字符串

text与get_text()

五、搜索文档树：

1.过滤器

字符串

2. find和find_all方法：

find_all()

limit 参数

find()

3.CSS选择器

通过标签名查找

通过类名查找

通过 id 名查找

通过tag标签逐层查找:

直接子标签查找

组合查找

属性查找

六、编码自动检测

---

Beautiful Soup

• 支持从HTML或XML文件中提取数据的python库

• 支持Python标准库中的HTML解析器
• 还支持一些第三方的解析器lxml, 使用的是 Xpath 语法，推荐安装。

Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了

下表列出了主要的解析器：

解析器	使用方法	优势	劣势
Python标准库	BeautifulSoup(markup, "html.parser")	Python的内置标准库;执行速度适中;文档容错能力强	Python 2.7.3 or 3.2.2前 的版本中文档容错能力差
lxml HTML 解析器	BeautifulSoup(markup, "lxml")	速度快;文档容错能力强 ;	需要安装C语言库
lxml XML 解析器	BeautifulSoup(markup, ["lxml-xml"]) BeautifulSoup(markup, "xml")	速度快;唯一支持XML的解析器	需要安装C语言库
html5lib	BeautifulSoup(markup, "html5lib")	最好的容错性;以浏览器的方式解析文档;生成HTML5格式的文档	速度慢;不依赖外部扩展

下表列出了主要的解析器,以及它们的优缺点:

推荐使用lxml作为解析器,因为效率更高. 在Python2.7.3之前的版本和Python3中3.2.2之前的版本,必须安装lxml或html5lib, 因为那些Python版本的标准库中内置的HTML解析方法不够稳定.

格式化输出soup 对象

print(soup.prettify())

Beautiful  Soup库的引用 Beautiful Soup库，也叫beautifulsoup4 或 bs4

引用方式如下，即主要是用BeautifulSoup 类

import bs4  from bs4 
import BeautifulSoup

BeautifulSoup类的基本元素

<p class=“title”> … </p>

基本元素	说明
Tag	标签，最基本的信息组织单元，分别用<>和</>标明开头和结尾
Name	标签的名字，<p>…</p>的名字是'p'，格式：<tag>.name
Attributes	标签的属性，字典形式组织，格式：<tag>.attrs
NavigableString	标签内非属性字符串，<>…</>中字符串，格式：<tag>.string
Comment	标签内字符串的注释部分，一种特殊的Comment类型

​

​

任何存在于HTML语法中的标签都可以用soup.<tag>访问获得

当HTML文档中存在多个相同<tag>对应内容时，soup.<tag>返回第一个

它查找的是在所有内容中的第一个符合要求的标签。

1.Tag的name

​

2.Tag的attrs（属性）

基本元素	说明
Attributes	标签的属性，字典形式组织，格式：<tag>.attrs

​

一个<tag>可以有0或多个属性，字典类型

还可以利用get方法，传入属性的名称，二者是等价的

3.Tag的NavigableString

基本元素	说明
NavigableString	标签内非属性字符串，<>…</>中字符串，格式：<tag>.string

​

​

二、遍历文档树

​

下行遍历

属性	说明
.contents	子节点的列表，将<tag>所有儿子节点存入列表
.children	子节点的迭代类型，与.contents类似，用于循环遍历儿子节点
.descendants	子孙节点的迭代类型，包含所有子孙节点，用于循环遍历，一级一级往子节点遍历

.contents

​

.children

​

标签树的上行遍历

属性	说明
.parent	节点的父亲标签
.parents	节点先辈标签的迭代类型，用于循环遍历先辈节点

标签树的平行遍历

属性	说明
.next_sibling	返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling	返回按照HTML文本顺序的上一个平行节点标签
.next_siblings	迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings	迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

三、bs4库的prettify()方法

​

四、获取字符串

​

​

                                                                                                                手误 for循环

生成器的学习请参考：生成器

这段代码来获得字符串时，返回的是None，不解，于是去查了BeautifulSoup的官方文档，发现.string方法在tag包含多个子节点时，tag无法确定.string方法应该调用哪个子节点的内容，所以输出None。

那么如何获得包含在tag中的字符串呢？方法如下：

​

这样就可以得到字符串。不过这其中包含换行符，只需用strip方法处理即可，中间包含空格用换行符代替即可 ——replace()方法

soup.head.title 是 tag的名字 方法的简写.这个简写的原理就是多次调用当前tag的 find() 方法:

soup.head.title
# <title>The Dormouse's story</title> 
soup.find("head").find("title")
# <title>The Dormouse's story</title>

​

*h.strings 和h.text 实现效果类似

text与get_text()

​

总结：

.string可以返回当前节点中的内容，但是当前节点包含子节点时，.string不知道要获取哪一个节点中的内容，故返回空

.text（或者.get_text()）可以返回当前节点所包含的所有文本内容，包括当前节点的子孙节点

如果tag中包含多个字符串 ,可以使用 .strings 来循环获取:

输出的字符串中可能包含了很多空格或空行,使用 .stripped_strings 可以去除多余空白内容。

属性	说明
.string	可以返回当前节点中的内容，但是当前节点包含子节点时，.string不知道要获取哪一个节点中的内容，故返回空
.text（或者.get_text()）	可以返回当前节点所包含的所有文本内容，包括当前节点的子孙节点
.strings	如果tag中包含多个字符串 ,可以使用 .strings 来循环获取。
.stripped_strings	输出的字符串中可能包含了很多空格或空行,使用 .stripped_strings 可以去除多余空白内容。

五、搜索文档树：

1.过滤器

字符串

最简单的过滤器是字符串.在搜索方法中传入一个字符串参数,Beautiful Soup会查找与字符串完整匹配的内容,下面的例子用于查找文档中所有的<b>标签:

soup.find_all('b')
# [<b>The Dormouse's story</b>]

过滤器包括：字符串、正则表达式、列表、True、方法。

详细请看官网文档： Beautiful Soup 4.2.0 文档 — Beautiful Soup 4.2.0 documentation

2. find和find_all方法：

搜索文档树，一般用得比较多的就是两个方法，一个是find，一个是find_all。find方法是找到第一个满足条件的标签后就立即返回，只返回一个元素。find_all方法是把所有满足条件的标签都选到，然后返回回去。使用这两个方法，最常用的用法是输入name以及attr参数找出符合要求的标签。

attrs 参数定义一个字典参数来搜索包含特殊属性的tag

soup.find_all("a",attrs={"id":"link2"})

或者是直接传入属性的的名字作为关键字参数：

soup.find_all("a",id='link2')

find_all()

find_all( name , attrs , recursive , text , **kwargs )

find_all() 方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件.这里有几个例子:

# 搜索id为 anony-nav的<div>标签
print(h.find_all('div',id='anony-nav'))
# 搜索内容里面包含“豆瓣”的<a>标签:
print(soup.find_all("a",text=re.compile("豆瓣")))  
print(soup.find_all("a",class_=re.compile("lnk-"))) # 搜索class里面包含“link-”的<a>标签: 
# 使用多个指定名字的参数可以同时过滤tag的多个属性: 
print(soup.find_all(href=re.compile("movie"), class_='lnk-movie')) 
运行结果：
[<div id="anony-nav">
<div class="anony-nav-links">
<ul>
<li>
<a class="lnk-book" href="https://book.douban.com" target="_blank">豆瓣读书</a>
</li>
<li>
<a class="lnk-movie" href="https://movie.douban.com" target="_blank">豆瓣电影</a>
</li>
<li>
<a class="lnk-music" href="https://music.douban.com" target="_blank">豆瓣音乐</a>
</li>
<li>
<a class="lnk-events" href="https://www.douban.com/location/" target="_blank">豆瓣同城</a>
</li>
<li>
<a class="lnk-group" href="https://www.douban.com/group/" target="_blank">豆瓣小组</a>
</li>
<li>
<a class="lnk-read" href="https://read.douban.com" target="_blank">豆瓣阅读</a>
</li>
<li>
<a class="lnk-fm" href="https://douban.fm" target="_blank">豆瓣FM</a>
</li>
<li>
<a class="lnk-shijian" href="https://time.douban.com/?dt_time_source=douban-web_anonymous_index_top_nav" target="_blank">豆瓣时间</a>
</li>
<li>
<a class="lnk-market" href="https://market.douban.com?utm_campaign=anonymous_top_nav&amp;utm_source=douban&amp;utm_medium=pc_web" target="_blank">豆瓣豆品</a>
</li>
</ul>
</div>
<div class="site-name" style="display: inline-block; line-height: 24px; height: 24px; margin-top: 4px;margin-right: 24px;width: 73px;background-image: url(https://img3.doubanio.com/f/sns/714b8751a533ef592bea5cd4603dbb9e713ded61/pics/sns/sitename.png);background-size: contain; background-repeat: no-repeat;text-indent: -999em;" title="豆瓣网">
      豆瓣网
    </div>
<div class="anony-srh">
<form action="https://www.douban.com/search" method="get">
<span class="inp"><input autocomplete="off" maxlength="60" name="q" placeholder="书籍、电影、音乐、小组、小站、成员" size="12" type="text"/></span>
<span class="bn"><input type="submit" value="搜索"/></span>
</form>
</div>
</div>]
[<a href="https://www.douban.com" style="height: 20px;">豆瓣</a>, <a class="lnk-book" href="https://book.douban.com" target="_blank">豆瓣读书</a>, <a class="lnk-movie" href="https://movie.douban.com" target="_blank">豆瓣电影</a>, <a class="lnk-music" href="https://music.douban.com" target="_blank">豆瓣音乐</a>, <a class="lnk-events" href="https://www.douban.com/location/" target="_blank">豆瓣同城</a>, <a class="lnk-group" href="https://www.douban.com/group/" target="_blank">豆瓣小组</a>, <a class="lnk-read" href="https://read.douban.com" target="_blank">豆瓣阅读</a>, <a class="lnk-fm" href="https://douban.fm" target="_blank">豆瓣FM</a>, <a class="lnk-shijian" href="https://time.douban.com/?dt_time_source=douban-web_anonymous_index_top_nav" target="_blank">豆瓣时间</a>, <a class="lnk-market" href="https://market.douban.com?utm_campaign=anonymous_top_nav&amp;utm_source=douban&amp;utm_medium=pc_web" target="_blank">豆瓣豆品</a>, <a class="lnk-app" href="https://www.douban.com/doubanapp/app?channel=nimingye">下载豆瓣 App</a>, <a href="https://time.douban.com?dt_time_source=douban-web_anonymous">豆瓣时间</a>, <a href="https://read.douban.com/app/">豆瓣阅读</a>, <a href="https://www.douban.com/wetware/">潮潮豆瓣音乐周</a>, <a href="https://douban.fm/?from_=music_nav">豆瓣FM</a>, <a href="https://douban.fm/app?from_=shire_anonymous_home">豆瓣FM</a>, <a href="https://artist.douban.com/app">豆瓣音乐人</a>, <a href="https://www.douban.com/gallery/topic/761/?index=2&amp;r=topic?dcm=douban&amp;dcs=anonymous-home-topic" target="_blank">
          我的豆瓣收藏夹里有什么
          </a>, <a href="https://www.douban.com/group/topic/225403601?dcm=douban&amp;dcs=anonymous-home-group" target="_blank">
              【申请已结束】一日三餐，一起吃饭：邀请各位爱晒猫的铲屎官免费试用新品「豆瓣猫咪餐具」
            </a>, <a href="https://www.douban.com/group/topic/203421229?dcm=douban&amp;dcs=anonymous-home-group" target="_blank">
              请开麦｜我们很想听听你的心声，期待豆瓣豆品出什么样的产品？
            </a>, <a href="https://www.douban.com/group/topic/204293834?dcm=douban&amp;dcs=anonymous-home-group" target="_blank">
              会员中心上线了「豆瓣遇见你便利贴」，100积分即可兑换
            </a>, <a class="market-spu-title" href="https://market.douban.com/campaign/weeklycalendar2022?dcm=douban&amp;dcs=anonymous-home-spu" target="_blank">
            豆瓣读书周历2022
          </a>, <a class="market-spu-title" href="https://market.douban.com/campaign/bookfragrance?dcm=douban&amp;dcs=anonymous-home-spu" target="_blank">
            国家图书馆 x 豆瓣 读书香薰
          </a>, <a class="market-spu-title" href="https://market.douban.com/campaign/calendar2022?dcm=douban&amp;dcs=anonymous-home-spu" target="_blank">
            豆瓣电影日历2022
          </a>, <a href="https://www.douban.com/about">关于豆瓣</a>, <a href="https://www.douban.com/jobs">在豆瓣工作</a>, <a href="https://www.douban.com/partner/">豆瓣广告</a>]
[<a class="lnk-book" href="https://book.douban.com" target="_blank">豆瓣读书</a>, <a class="lnk-movie" href="https://movie.douban.com" target="_blank">豆瓣电影</a>, <a class="lnk-music" href="https://music.douban.com" target="_blank">豆瓣音乐</a>, <a class="lnk-events" href="https://www.douban.com/location/" target="_blank">豆瓣同城</a>, <a class="lnk-group" href="https://www.douban.com/group/" target="_blank">豆瓣小组</a>, <a class="lnk-read" href="https://read.douban.com" target="_blank">豆瓣阅读</a>, <a class="lnk-fm" href="https://douban.fm" target="_blank">豆瓣FM</a>, <a class="lnk-shijian" href="https://time.douban.com/?dt_time_source=douban-web_anonymous_index_top_nav" target="_blank">豆瓣时间</a>, <a class="lnk-market" href="https://market.douban.com?utm_campaign=anonymous_top_nav&amp;utm_source=douban&amp;utm_medium=pc_web" target="_blank">豆瓣豆品</a>, <a class="lnk-app" href="https://www.douban.com/doubanapp/app?channel=nimingye">下载豆瓣 App</a>, <a class="lnk-qr" href="javascript: void 0;" id="expand-qr"><img height="28" src="https://img3.doubanio.com/f/sns/0c708de69ce692883c1310053c5748c538938cb0/pics/sns/anony_home/icon_qrcode_green.png" width="28"/></a>, <a class="lnk-buy" href="https://book.douban.com/cart">
<em>购书单</em>
</a>, <a class="lnk-icon" href="https://read.douban.com/app/">
<i class="app-icon app-icon-read"></i>
</a>, <a class="lnk-icon" href="https://douban.fm/app?from_=shire_anonymous_home">
<i class="app-icon app-icon-fm"></i>
</a>, <a class="lnk-icon" href="https://artist.douban.com/app">
<i class="app-icon app-icon-artists"></i>
</a>]
[<a class="lnk-movie" href="https://movie.douban.com" target="_blank">豆瓣电影</a>]

经过上例可知，find_all返回的数据类型为列表

按照CSS类名搜索tag的功能非常实用,但标识CSS类名的关键字 class 在Python中是保留字,使用 class 做参数会导致语法错误.从Beautiful Soup的4.1.1版本开始,可以通过 class_ 参数搜索有指定CSS类名的tag:

limit 参数

find_all() 方法返回全部的搜索结构,如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与SQL中的limit关键字类似,当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果.

文档树中有3个tag符合搜索条件,但结果只返回了2个,因为我们限制了返回数量:

print(soup.find_all("a",class_=re.compile("lnk-"),limit=2))
运行结果：
[<a class="lnk-book" href="https://book.douban.com" target="_blank">豆瓣读书</a>, <a class="lnk-movie" href="https://movie.douban.com" target="_blank">豆瓣电影</a>]

代码等价

soup.find_all("a") 
soup("a")

find()

唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果.

find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时,返回 None .

print(soup.find("nosuchtag")) 
# None

soup.head.title 是  tag的名字 方法的简写.这个简写的原理就是多次调用当前tag的 find() 方法:

soup.head.title
# <title>The Dormouse's story</title>
soup.find("head").find("title")
# <title>The Dormouse's story</title>

3.CSS选择器

CSS Selector

CSS(即层叠样式表Cascading Stylesheet),

Selector来定位（locate）页面上的元素（Elements）。Selenium官网的Document里极力推荐使用CSS locator，而不是XPath来定位元素，原因是CSS locator比XPath locator速度快.

在写 CSS 时：

• 标签名不加任何修饰
• 类名前加点
• id名前加 #

在 Tag 或 BeautifulSoup 对象的 .select() 方法中传入字符串参数,即可使用CSS选择器的语法找到tag

利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list

• 通过标签名查找

print (soup.select('title') )
#[<title>The Dormouse's story</title>] ​ 
print (soup.select('a'))
#[<a class="sister" href="http://example.com/elsie" id="link1"></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>] ​ 
print (soup.select('b'))
#[<b>The Dormouse's story</b>]

• 通过类名查找

print (soup.select('.sister'))
#[<a class="sister" href="http://example.com/elsie" id="link1"></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

• 通过 id 名查找

print(soup.select('#link1'))   # [<a class="sister" href="http://example.com/elsie" id="link1"></a>]

• 通过tag标签逐层查找:

每个空格结合符可以解释为“...在...中找到”、“...作为...的一部分”、“...作为...的后代”，但是要求必须从右向左读选择器——《CSS权威指南》第三版

1 div.contain .blue{color:blue;}

2 div.contain.blue{color:blue;}

以上两种规则分别应用的元素如下：

1 <div class="contain">contain<span class="blue">blue</span><!--后代-->

2 <div class="contain blue">contain and blue</div><!--多类-->

print (soup.select("body > div > div > h1"))
print (soup.select("body h1")) # 不同结点 逐层查找
运行结果: [<h1 id="douban-logo" style="height: 20px;width: 102px;margin: 7px 13px;background-size: contain;"> <a href="https://www.douban.com" style="height: 20px;">豆瓣</a> </h1>] [<h1 id="douban-logo" style="height: 20px;width: 102px;margin: 7px 13px;background-size: contain;"> <a href="https://www.douban.com" style="height: 20px;">豆瓣</a> </h1>]

• 直接子标签查找

print (soup.select("head > title"))  
#[<title>The Dormouse's story</title>]

• 组合查找

组合查找即标签名与类名、id名进行的组合原理是一样的，例如查找 p 标签中，id 等于 link1的内容，

属性和标签不属于同一节点 二者需要用空格分开

print(soup.select('p #link1'))
# [<a class="sister" href="http://example.com/elsie" id="link1"></a>]

• 属性查找

查找时还可以加入属性元素，属性需要用中括号括起来

注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到

print (soup.select('a[class="sister"]'))  
# [<a class="sister" href="http://example.com/elsie" id="link1"></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>] 
print(soup.select('a[href="http://example.com/elsie"]'))
# [<a class="sister" href="http://example.com/elsie" id="link1"></a>]

同样，属性仍然可以与上述查找方式组合，不在同一节点的空格隔开，同一节点的不加空格

print (soup.select('p a[href="http://example.com/elsie"]'))  
# [<a class="sister" href="http://example.com/elsie" id="link1"></a>]

以上的 select 方法返回的结果都是列表形式，可以遍历形式输出

用 get_text() 方法来获取它的内容。

print soup.select('title')[0].get_text()    
for title in soup.select('title'):
   print (title.get_text())

六、编码自动检测

可以在Beautiful Soup以外使用,检测某段未知编码时,可以使用这个方法:

from bs4 import UnicodeDammit
dammit = UnicodeDammit("Sacr\xc3\xa9 bleu!")
print(dammit.unicode_markup)
# Sacré bleu! dammit.original_encoding

最后，文中有不对错误的地方，欢迎各位大神前辈指教！