1. 参考

Beautiful Soup 4.2.0 文档

Beautiful Soup Documentation （4.4.0 英文部分内容有别于4.2.0中文）

CSS 选择器参考手册

阮一峰 CSS选择器笔记

2. 安装

pip install beautifulsoup4
pip install lxml
pip install html5lib

3. 使用

3.1将字符串或文件句柄传入BeautifulSoup 的构造方法

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc)

with open("index.html") as fp:
    soup = BeautifulSoup(fp, 'lxml')

支持文档类型：html, xml和html5
默认优先顺序：lxml, html5lib和html.parser，最好显式指定文档解析器
区别：

  
BeautifulSoup("<a></p>", "解析器")
       
lxml
 
<html><body><a></a></body></html>
 忽略没有开头的</p> 
补全部分<html>
  推荐，高效，唯一支持xml，需自行安装 
html5lib
 
<html><head></head><body><a><p></p></a></body></html>
 没有忽略 
补全所有，包括<head>
  容错性最好，速度慢 
html.parser
 
<a></a>
 忽略没有开头的</p> 
不作补全
  内置标准库

3.2 格式化显示文档树

print(soup.prettify())

默认formatter="minimal"，专注生成有效的HTML/XML

formatter=None，方便观察实际显示效果

In [70]: print(soup.prettify(formatter=None))
<html>
 <body>
  <p>
   Il a dit <<Sacré bleu!>>   #可能生成无效HTML
  </p>
 </body>
</html>

3.3 简单用法

 1 In [86]: soup.a    #定位tag

 2 Out[86]: <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>

 3

 4 In [87]: soup.a.name

 5 Out[87]: 'a'

 6

 7 In [88]: soup.a.string    #The string argument is new in Beautiful Soup 4.4.0. In earlier versions it was called text

 8 Out[88]: u'Elsie'

 9

10 In [89]: soup.a.attrs  #字典属性

11 Out[89]: {'class': ['sister'], 'href': 'http://example.com/elsie', 'id': 'link1'}

12

13 In [90]: soup.a.get('class')  #在Beautiful Soup中多值属性的返回类型是list，最常见的多值的属性是 class

14 Out[90]: ['sister']

15

16 In [91]: soup.a['class']

17 Out[91]: ['sister']

18

19 In [92]: soup.a.get('href')  #一般属性返回字符串，若无return None

20 Out[92]: 'http://example.com/elsie'

21

22 In [93]: soup.a['href']

23 Out[93]: 'http://example.com/elsie'

3.4 主要对象种类

 In [100]: type(soup)

 Out[100]: bs4.BeautifulSoup

 In [101]: type(soup.a)

 Out[101]: bs4.element.Tag

 In [103]: type(soup.a.string)  #可以通过unicode()方法转换成Unicode字符串

 Out[103]: bs4.element.NavigableString

BeautifulSoup 对象表示的是一个文档的全部内容.大部分时候,可以把它当作 Tag 对象,它支持 遍历文档树 和 搜索文档树 中描述的大部分的方法。没有attribute，但有name特殊值为u'[document]'。

In [120]: isinstance(soup.a.string,unicode)
Out[120]: True

In [401]: from bs4 import NavigableString
In [402]:  isinstance(soup.a.string, NavigableString)
Out[402]: True

如果想在Beautiful Soup之外使用 NavigableString 对象,需要调用 unicode() 方法,将该对象转换成普通的Unicode字符串,否则就算Beautiful Soup已方法已经执行结束,该对象的输出也会带有对象的引用地址.这样会浪费内存.

3.5 遍历文档树（定位tag，提取name，string，attrs{}）

3.5.1 直接定位单个tag

soup.a    #匹配的第一个tag

soup.head.title  #相当于 soup.find('head').find('title')， find直接返回第一个结果

3.5.2 find_all()

find_all(self, name=None, attrs={}, recursive=True, text=None, limit=None, **kwargs)

name

soup.find_all("a") #实际是第一个位置参数name="a"，完全匹配，等同soup.select('a')
soup.find_all(re.compile('^b'))  #name部分匹配开头b： b body

attrs

#传入非方法参数名，将被认定为tag的属性

soup.find_all(id="link2")  #tag的id属性
soup.find_all(href=re.compile("elsie"))  #tag的href属性

string/text
soup.find_all(string=re.compile("sisters"))  #只有一个NavigableSring子节点的tag的string属性 #The string argument is new in Beautiful Soup 4.4.0. In earlier versions it was called text

混合使用name, attrs和string

soup.find_all("a", id='link1', string="Elsie", ) #第一个name，再加任意个属性
soup.find_all("a", "sister")  #name+attrs，只有class_才可以省略关键字！！！

列表的任一个条件

soup.find_all(["a", "b"])
soup.find_all(id=['link1','link2'])  
soup.find_all(class_=['sister','story'])
soup.find_all(href=re.compile("elsie|lacie"))  #|或

特殊属性和通用解决方法

soup.find_all(class_="sister")  #使用到class关键字，改写为class_ #class_是多值属性，所以class_="strikeout"也能匹配到实际的class="body strikeout"
soup.find_all(data-foo="value") #HTML5中的 data-* 属性也会报错！！！
find_all(name=”email”)  #原文<input name=”email”/>’，只会返回空，因为没有name为email的tag
soup.find_all(attrs={"data-foo": "value"})  #通用解决方法

其他参数和用法

soup.find_all("a", limit=2) #限制了返回数量
soup.html.find_all("title", recursive=False)  #限制只查找直接子节点

soup.find_all("a") #所有.find_all都可以省略，缩写soup("a")

3.6 获取所有文本内容

soup.get_text("|", strip=True) #可以添加分隔符，去除前后空白（含\n）

[text for text in soup.strings] #可以观察到u'\n'，或通过for循环print(repr(string))
[text for text in soup.stripped_strings]

3.7 节点层次关系

soup.a.contents(children) #直接子节点列表（生成器）
soup.a.descendants #递归循环子孙节点生成器
soup.a.string #只有一个NavigableString 类型子节点，此类子节点没有contents属性！！！
soup.a.strings（stripped_strings） #生成器（去除多余空白内容）
.parent（s）  
.next_sibling（s）和 .previous_sibling（s） #同父同层   经常出现空白（‘\n’）
.next_element（s）和.previous_element（s） #按照文档树从外到内解析tag和string

3.8 CSS selector

soup.select("title")  #name节点列表

soup.select("p:nth-of-type(3)")  #p的父元素的第三个p tag，从1开始

for i in soup.select('tbody tr'):  #即先定位父节点，再选择父节点的第三个td子节点

    print i.select("td:nth-of-type(3)")[0].text

#只实现了一个 nth-of-type？？？

---> 15     print i.select("td:nth-child(3)").text

c:\program files\anaconda2\lib\site-packages\bs4\element.pyc in select(self, selector, _candidate_generator, limit)

   1435                 else:

   1436                     raise NotImplementedError(

-> 1437                         'Only the following pseudo-classes are implemented: nth-of-type.')

soup.select("html head title")  #通过tag标签逐层查找，可以跳空
soup.select("head > title")  #直接子标签
soup.select("p > #link1")   # id=link1

soup.select(".sister")  #class
soup.select("#link1")  #id
soup.select('[href]')  #包含属性
soup.select('[href="http://example.com/elsie"]')  #属性value完全匹配
soup.select('[href*=".com/el"]')  #部分匹配
soup.select('[href$="tillie"]')  #结尾匹配

soup.select("a.sister")  #以上都可以搭配name一起使用
soup.select("#link1,#link2")  #列表任意一个

i.select('span, div'):  #列表，先遍历span，再遍历div！！！

# 代理IP http://www.goubanjia.com/free/gngn/index1.shtml

# 106.39.160.135:8888 正确

# 39.160.1358888106.    错误

# <td class="ip">

    # <div style="display:inline-block;">10</div>

    # <div style="display:inline-block;">6.</div>

    # <p style="display: none;">39</p>

    # <span>39</span>

    # ...

    # :

    # <span class="port HBBAE">8888</span></td>        

# <p style="display: none;">39</p> 为干扰项

for i in soup.select('tbody tr td.ip'):

    rst = ''

    # for k in i.select('span, div'):  #先遍历span，再遍历div！！！

        # rst += k.text

    # print rst

    for j in  i.contents:

        if j.name in ['span', 'div']:  #网页源代码部分hide干扰数字

            rst += j.text

        if j == ':':

            rst += ':'

    ip, port =  rst.split(':')

soup.select_one(".sister")  #匹配的第一个

soup.select("#link1 ~ a")  #id=link1的所有兄弟，且满足后半部分的 a
soup.select("#link1 + a"）  #id=link1的第一个兄弟，依旧是list

4. 其他

https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/#id85

如果没有合适过滤器,那么还可以定义一个方法,方法只接受一个元素参数 [4] ,如果这个方法返回 True 表示当前元素匹配并且被找到,如果不是则反回 False

[4]元素参数,HTML文档中的一个tag节点,不能是文本节点

												


											
BeautifulSoup总结的更多相关文章
	

    
						
  1. Python爬虫小白入门（三）BeautifulSoup库
		
    # 一.前言 *** 上一篇演示了如何使用requests模块向网站发送http请求,获取到网页的HTML数据.这篇来演示如何使用BeautifulSoup模块来从HTML文本中提取我们想要的数据.  ...
    
		
    2. 
						
  2. 使用beautifulsoup与requests爬取数据
		
    1.安装需要的库 bs4 beautifulSoup  requests lxml如果使用mongodb存取数据,安装一下pymongo插件 2.常见问题 1> lxml安装问题 如果遇到lxm ...
    
		
    3. 
						
  3. BeautifulSoup ：功能使用
		
    # -*- coding: utf-8 -*- ''' # Author : Solomon Xie # Usage : 测试BeautifulSoup一些用法及容易出bug的地方 # Envirom ...
    
		
    4. 
						
  4. BeautifulSoup研究一
		
    BeautifulSoup的文档见 https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ 其中.contents 会将换行也记录为一个子节 ...
    
		
    5. 
						
  5. BeautifulSoup
		
    参考:http://www.freebuf.com/news/special/96763.html 相关资料:http://www.jb51.net/article/65287.htm 1.Pytho ...
    
		
    6. 
						
  6. BeautifulSoup Some characters could not be decoded, and were replaced with REPLACEMENT CHARACTER.
		
    BeautifulSoup很赞的东西 最近出现一个问题:Python 3.3 soup=BeautifulSoup(urllib.request.urlopen(url_path),"htm ...
    
		
    7. 
						
  7. beautifulSoup(1)
		
    import re from bs4 import BeautifulSoupdoc = ['<html><head><title>Page title</t ...
    
		
    8. 
						
  8. python BeautifulSoup模块的简要介绍
		
    常用介绍: pip install beautifulsoup4 # 安装模块 from bs4 import BeautifulSoup # 导入模块 soup = BeautifulSoup(ht ...
    
		
    9. 
						
  9. BeautifulSoup 的用法
		
    转自:http://cuiqingcai.com/1319.html Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,如果我们不安装它,则 Python ...
    
		
    10. 
						
  10. BeautifulSoup的选择器
		
    用BeautifulSoup查找指定标签(元素)的时候,有几种方法: soup=BeautifulSoup(html) 1.soup.find_all(tagName),返回一个指定Tag元素的列表  ...
    
		
    11. 
		

	


随机推荐
	

    
									
  1. Vue子组件与父组件之间的通信
			
    1.环境搭建 下载 vue-cli:npm install -g vue-cli 初始化项目:vue init webpack vue-demo 进入vue-demo文件夹:cd vue-demo 下 ...
    
			
    2. 
						
  2. unity游戏热更新
			
    链接:https://pan.baidu.com/s/1ggWP0OF 第 1 章 : 热更新技术学习介绍 课时1:101-热更新技术学习介绍 11:55 什么是热更新? 举例来说 游戏上线后,玩家下 ...
    
			
    3. 
						
  3. Day 4 测试（QwQ 表示没考好  未完待续。。。 可能要过一段时间才会更
			
    #include<iostream> #include<algorithm> #include<cstdio> #include<cstring> #i ...
    
			
    4. 
						
  4. 洛谷 P3327 【[SDOI2015]约数个数和】
			
    前置芝士 关于这个题,你必须知道一个这样奇奇怪怪的式子啊QAQ \[d(i*j)= \sum_{x|i} \sum_{y|j}[gcd(x,y)=1] \] 留坑,先感性理解:后面那个gcd是为了去重 ...
    
			
    5. 
						
  5. com.android.support:appcompat-v7:27.+问题解决
			
    新建的项目就报下面的错误,问题指向了app/build.gradle,看起来是版本兼容的问题.     解决方案: 1.查看sdk tools的版本:26.1.1   远程依赖包是27.+,而我们的s ...
    
			
    6. 
						
  6. 20165232 实现pwd
			
    20165232 实现mypwd 题目要求 学习pwd命令 研究pwd实现需要的系统调用(man -k; grep),写出伪代码 实现mypwd 测试mypwd 学习pwd命令 用man pwd 查看 ...
    
			
    7. 
						
  7. 1.4分布式-通讯协议TCP/IP
			
    服务器和浏览器的通讯依靠http协议,今天就来分析一下http协议的具体内容以及https的加密过程.除了这些协议,为了增加服务器和浏览器交互的可拓展性,也出现了rest风格的请求方式,方便调用接口. ...
    
			
    8. 
						
  8. openstack项目【day24】：keystone部署及操作
			
    阅读目录 一 前言 二 版本信息 三 部署keystone 四 keystone操作 五 验证 六 创建脚本 七 keystone使用套路总结 一 前言 任何软件的部署都是没有技术含量的,任何就部署讲 ...
    
			
    9. 
						
  9. 金融量化分析【day111】：Matplotib-画布与子图
			
    一.画布与子图 1.实例 %matplotlib auto fig = plt.figure() ax = fig.add_subplot(2,2,1) ax2 = fig.add_subplot(2 ...
    
			
    10. 
						
  10. IaaS，PaaS，SaaS 的区别(转)
			
    越来越多的软件,开始采用云服务. 云服务只是一个统称,可以分成三大类. IaaS:基础设施服务,Infrastructure-as-a-service PaaS:平台服务,Platform-as-a- ...
    
			
    11.