原文地址:http://blog.csdn.net/depers15/article/details/51934210

python——BeautifulSoup库函数find_all()

一、语法介绍

  1. find_all( name , attrs , recursive , string , **kwargs )
  2. find_all() 方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件

二、参数及用法介绍

1、name参数

  1. 这是最简单而直接的一种办法了，我么可以通过html标签名来索引；
  3. sb = soup.find_all('img')

2、keyword参数

  1. 所谓关键字参数其实就是通过一个html标签的id、href(这个主要指的是a标签的 ）和title,我测试了class，这个方法好像不行，不过没有关系，下面我会谈到这个点的！
  2. soup.find_all(href=re.compile("elsie"))
  3. # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]
  5. soup.find_all(id='link2')
  6. # [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
  8. 这里的true指的就是选中所有有id这个属性的标签；
  9. soup.find_all(id=True)
  10. # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
  11. #  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
  12. #  <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
  14. 当然还可以设置多个筛选的属性；
  15. soup.find_all(href=re.compile("elsie"), id='link1')
  16. # [<a class="sister" href="http://example.com/elsie" id="link1">three</a>]
  18. 还有有些属性在搜索时就不能使用，就比如HTML5中的 data-* 属性，咋办？
  20. data_soup = BeautifulSoup('<div data-foo="value">foo!</div>')
  21. data_soup.find_all(data-foo="value")
  22. # SyntaxError: keyword can't be an expression
  24. 但是可以通过 find_all() 方法的 attrs 参数定义一个字典参数来搜索包含特殊属性的tag:
  26. data_soup.find_all(attrs={"data-foo": "value"})
  27. # [<div data-foo="value">foo!</div>]
  29. 虽然我们不能像id他们那样使用，因为class在python中是保留字（保留字(reserved word)，指在高级语言中已经定义过的字，使用者不能再将这些字作为变量名或过程名使用。
  30. ），所以呢，直接使用是回报错的，所以class_应运而生；
  31. 所以呢，顺便上一张图片，让我们看一看python都有哪些保留字：
  32. ![](http://images2017.cnblogs.com/blog/825729/201709/825729-20170929143447247-961841526.png)
  33. 通过标签名和属性名一起用：
  34. soup.find_all("a", class_="sister")
  35. # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
  36. #  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
  37. #  <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
  38. 除此之外呢，还有就是class_ 参数同样接受不同类型的 过滤器 ,字符串,正则表达式,方法或 True :当然，上面的属性也可以和标签名结合起来使用；
  39. soup.find_all(class_=re.compile("itl"))
  40. # [<p class="title"><b>The Dormouse's story</b></p>]
  42. def has_six_characters(css_class):
  43.     return css_class is not None and len(css_class) == 6
  45. soup.find_all(class_=has_six_characters)
  46. #这里的这个函数，其实就是一个布尔值True；
  47. # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
  48. #  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
  49. #  <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

3.sting参数

通过 string 参数可以搜搜文档中的字符串内容.与 name 参数的可选值一样, string 参数接受 字符串 , 正则表达式 , 列表, True;

  1. soup.find_all("a", string="Elsie")
  2. # [<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>]

4.limit参数

这个参数其实就是控制我们获取数据的数量，效果和SQL语句中的limit一样；

  1. soup.find_all("a", limit=2)
  2. # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
  3. #  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

5.recursive参数

调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False;

Html:

  1. <html>
  2.  <head>
  3.   <title>
  4.    The Dormouse's story
  5.   </title>
  6.  </head>
  7. ...

python:

  1. soup.html.find_all("title")
  2. # [<title>The Dormouse's story</title>]
  4. soup.html.find_all("title", recursive=False)
  5. # []

所以他只获取自己的直接子节点，也就是他自己,这个标签自己就是他的直接子节点；

Beautiful Soup 提供了多种DOM树搜索方法. 这些方法都使用了类似的参数定义. 比如这些方法: find_all(): name, attrs, text, limit. 但是只有 find_all() 和 find() 支持 recursive 参数.

python爬虫（1）——BeautifulSoup库函数find_all() (转)的更多相关文章

  1. 使用Python爬虫库BeautifulSoup遍历文档树并对标签进行操作详解（新手必学）

    为大家介绍下Python爬虫库BeautifulSoup遍历文档树并对标签进行操作的详细方法与函数下面就是使用Python爬虫库BeautifulSoup对文档树进行遍历并对标签进行操作的实例,都是最 ...

  2. 【Python爬虫】BeautifulSoup网页解析库

    BeautifulSoup 网页解析库 阅读目录 初识Beautiful Soup Beautiful Soup库的4种解析器 Beautiful Soup类的基本元素 基本使用 标签选择器 节点操作 ...

  3. Python爬虫之BeautifulSoup的用法

    之前看静觅博客,关于BeautifulSoup的用法不太熟练,所以趁机在网上搜索相关的视频,其中一个讲的还是挺清楚的:python爬虫小白入门之BeautifulSoup库,有空做了一下笔记: 一.爬 ...

  4. Python爬虫——用BeautifulSoup、python-docx爬取廖雪峰大大的教程为word文档

    版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com 廖雪峰大大贡献的教程写的不错,写了个爬虫把教程保存为word文件,供大家方便下载学习:http://p ...

  5. Python爬虫系列-BeautifulSoup详解

    安装 pip3 install beautifulsoup4 解析库 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup(markup,'html,parser') Pyth ...

  6. Python爬虫之Beautifulsoup模块的使用

    一 Beautifulsoup模块介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Be ...

  7. Python 爬虫—— requests BeautifulSoup

    本文记录下用来爬虫主要使用的两个库.第一个是requests,用这个库能很方便的下载网页,不用标准库里面各种urllib:第二个BeautifulSoup用来解析网页,不然自己用正则的话很烦. req ...

  8. python爬虫之BeautifulSoup

    爬虫有时候写正则表达式会有假死现象 就是正则表达式一直在进行死循环查找 例如:https://social.msdn.microsoft.com/forums/azure/en-us/3f4390ac ...

  9. python爬虫入门--beautifulsoup

    1,beautifulsoup的中文文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ 2, from bs4 import Be ...

随机推荐

  1. Python学习笔记（三十四）—内置模块（3）base64

    摘抄自:https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431954588 ...

  2. Lua只读表

    利用Lua的元表(metatable)和元函数(metafunction)可以很简单的实现此功能. 其实现大致分为三个部分 1.禁止在表中创建新值 2.禁止改变已有的值 3.将子表也变为只读 1.禁止 ...

  3. LintCode 394: First Will Win

    LintCode 394: First Will Win 题目描述 有n个硬币排成一条线.两个参赛者轮流从右边依次拿走1或2个硬币,直到没有硬币为止.拿到最后一枚硬币的人获胜. 请判定 第一个玩家 是 ...

  4. sql统计字符串出现次数技巧

    在牛客网上看到一道题,感觉挺有趣,是用sql统计字符串出现的次数. 这里提供一种思路,比如统计字符串A中子串B的出现次数: SELECT (LENGTH(A) - LENGTH(REPLACE(A, ...

  5. html5手机Web单页应用实践--起点移动阅读

    一开始以hybrid形式做了一个android的小说阅读客户端,叫4G阅读.而后由于业务需求,要迅速实现纯手机html5 版的,所以就直接在原先客户端内内嵌的网页进行改版,快速实现以后在优化的过程中发 ...

  6. Go语言 6 结构体、方法和接口

    文章由作者马志国在博客园的原创,若转载请于明显处标记出处:http://www.cnblogs.com/mazg/ Go学习群:415660935 结构体(struct)是由一系列具有相同类型或不同类 ...

  7. 树莓派开发系列教程2--树莓派3B介绍及系统烧写、基本配置

    注意:树莓派系列的3篇文章里面的图片因为博客转移过程丢失了,非常抱歉 前言 树莓派系列里涉及到需要额外电脑来协助处理的部分(如烧写系统,远程访问等等),统一在运行着Ubuntu15系统的mac air ...

  8. 转一篇：Reactor模式

    转载自:http://www.blogjava.net/DLevin/archive/2015/09/02/427045.html 前记 第一次听到Reactor模式是三年前的某个晚上,一个室友突然跑 ...

  9. Python语言库pyttsx3

    这是一个文字转语音的python模块. 1. macos下安装的时候出现问题:  后来发现,Foundation, AppKit, PyObjCTools都不存在,主要原因是缺少依赖模块pyobjc, ...

  10. rds 与mysql 进行主从同步

    .rds上默认会有server-****,只需要配置从数据库: .从数据库的配置流程: .[mysqld] log-bin = mysql-bin-changelog #要和主库中的名字一样 rela ...