#xiaodeng

#python3

#用Beautiful Soup解析html源码

html_doc = """

<html>

    <head>

        <title>The Dormouse's story</title>

    </head>

    <body>

        <b>测试</b>

        <p class="title">

            <b>The Dormouse's story</b>

        </p>

        <p class="story">Once upon a time there were three little sisters; and their names were

        <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

        <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

        <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

        <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

        <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

        <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

        <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

        and they lived at the bottom of a well.

        </p>

        <p class="story">...</p>

"""

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc,"html.parser")

#1、补全html代码格式化输出

#print(soup.prettify())

#2、获取html页面标题

#print(soup.title.string)

"""

还有其他类似用法：

1）print(soup.title.title)       #result：title

2）print(soup.title.name)        #result：title

"""

#3、查找所有的p标签和p标签的内容，返回一个list

#print(soup.find_all("p"))

#print(soup.find_all("a"))

#print(soup.find_all("title"))

"""

查找一条p标签记录，print(soup.p)

"""

#4、查p标签下属性class的value值

#print(soup.p["class"])

#5、查找所有id="XXX"的标签及标签内容

#print(soup.find_all(id="link3"))

#6、从文档中找到所有<a>标签的链接

"""

for key in soup.find_all("a"):

    print(key.get("href"))

"""

#7、从文档中获取所有的文字内容

#print(soup.get_text())

#8、探索标签数据类型

soup = BeautifulSoup('<b class="boldest">Extremely bold</b>',"html.parser")

tag = soup.b

#print(type(tag))    #<class 'bs4.element.Tag'>

#9、获取标签名字，每个tag都有自己的名字,通过.name来获取

#print(soup.b.name)

#10、操作标签属性

#一个tag可能有很多个属性.

# tag <b class="boldest"> 有一个 “class” 的属性,值为 “boldest” . tag的属性的操作方法与字典相同

#print(soup.b["class"])

#11、执行删除标签属性等操作

#del tag['class']

#12、正则表达式

#面例子中找出所有以b开头的标签,这表示<body>和<b>标签都应该被找到

"""

import re

soup = BeautifulSoup(html_doc,"html.parser")

for tag in soup.find_all(re.compile("^b")):

    print(tag.name)

"""

import re

soup = BeautifulSoup(html_doc,"html.parser")

#print(soup.find_all(href=re.compile("tillie")))  #href中包含tillie的超链接

#13、列表形式的匹配(匹配a和p标签)

soup = BeautifulSoup(html_doc,"html.parser")

#print(soup.find_all(["a","p"]))

#14、查找a标签下id="XXX"的标签及标签内容

# find_all( name , attrs , recursive , text , **kwargs )

# find_all() 方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件.这里有几个例子:

#print(soup.find_all("a",id="link3"))

#15、查找a标签下class_="sister"的内容

#print(soup.find_all("a",class_="sister"))

#16、通过text参数可以搜文档中的字符串内容.

#与name参数的可选值一样, text参数接受字符串,正则表达式,列表,True

#print(soup.find_all(text="Elsie"))

#print(soup.find_all(text=["Tillie", "Elsie", "Lacie"]))

#17、限定查找标签的数量

#print(soup.find_all("a",limit=2))

#18、想搜索tag的直接子节点,可以使用参数 recursive=False

doc="""<html>

 <head>

  <title>The Dormouse's story</title>

 </head>

</html>

"""

soup = BeautifulSoup(doc,"html.parser")

#print(soup.find_all("title",recursive=False))

#19、查找父节点，兄弟节点等办法（待研究）

#20、查找title标签

soup = BeautifulSoup(html_doc,"html.parser")

#print(soup.select("title"))

#21、找到某个tag标签下的直接子标签

#注意事项：p和b之前要空格，此写法"p>b"错误

#print(soup.select("p > b"))#查找p标签下的直接子标签b

#print(soup.select("body > b"))

#22、通过CSS的类名查找class="sister"的标签

result=soup.select(".sister")

#print(result)

#23、通过tag的id查找，soup.select("#link1")

result=soup.select("#link1")

#print(result)#[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

用Beautiful Soup解析html源码的更多相关文章

  1. Python解析器源码加密系列之（二）：一次使用标准c的FILE*访问内存块的尝试

    摘要:由于近期打算修改Python解释器以实现pyc文件的加密/解密,出于保密的要求,解密之后的数据只能放在内存中,不能写入到文件中.但是后续的解析pyc文件的代码又只能接受FILE*作为入参,所以就 ...

  2. HtmlAgilityPack --解析Html源码

    最近项目需要从网络上抓取一下数据解析Html源码,奈何正则表达式难写,于是网上搜索找到了“ HtmlAgilityPack”类库,敏捷开发,果然效率非同寻常. 在此做笔记,写下心得,顺便给自己总结一下 ...

  3. mvc5 解析route源码实现自己的route系统

    Asp.net mvc5 解析route源码实现自己的route系统   url route 路由系统的责任是找到匹配的路由,创建路由数据,并将请求分配给一个处理程序. 选择动作是 MVC 的处理程序 ...

  4. 浩哥解析MyBatis源码（十）——Type类型模块之类型处理器

    原创作品,可以转载,但是请标注出处地址:http://www.cnblogs.com/V1haoge/p/6715063.html 1.回顾 之前的两篇分别解析了类型别名注册器和类型处理器注册器,此二 ...

  5. 解析 ViewTreeObserver 源码（下）

    继上篇内容,本文介绍 ViewTreeObserver 的使用,以及体会其所涉及的观察者模式,期间会附带回顾一些基础知识.最后,我们简单聊一下 Android 的消息传递,附高清示意图,轻松捋清整个传 ...

  6. Python爬虫之Beautiful Soup解析库的使用（五）

    Python爬虫之Beautiful Soup解析库的使用 Beautiful Soup-介绍 Python第三方库,用于从HTML或XML中提取数据官方:http://www.crummv.com/ ...

  7. Jsoup解析网页源码时常用的Element(s)类

    Jsoup解析网页源码时常用的Element(s)类 一.简介 该类是Node的直接子类,同样实现了可克隆接口.类声明:public class Element extends Node 它表示由一个 ...

  8. 爬虫5_python2_使用 Beautiful Soup 解析数据

    使用 Beautiful Soup 解析数据(感谢东哥) 有的小伙伴们对写正则表达式的写法用得不熟练,没关系,我们还有一个更强大的工具,叫Beautiful Soup,有了它我们可以很方便地提取出HT ...

  9. 二十三、并发编程之深入解析Condition源码

    二十三.并发编程之深入解析Condition源码   一.Condition简介 1.Object的wait和notify/notifyAll方法与Condition区别 任何一个java对象都继承于 ...

随机推荐

  1. C#多线程读写同一文件处理

    在多线程访问读写同一个文件时,经常遇到异常:“文件正在由另一进程使用,因此该进程无法访问此文件”. 多线程访问统一资源的异常, 解决方案1,保证读写操作单线程执行,可以使用lock 解决方案2,使用S ...

  2. JAVA中String.format的用法 转16进制,还可以补0

    1.对整数进行格式化:%[index$][标识][最小宽度]转换方式        我们可以看到,格式化字符串由4部分组成,其中%[index$]的含义我们上面已经讲过,[最小宽度]的含义也很好理解, ...

  3. [leetcode]N-Queens II @ Python

    原题地址:https://oj.leetcode.com/problems/n-queens-ii/ 题意:和N-Queens这道题其实是一样的,只不过这次要求返回的时N皇后的解的个数的问题. 解题思 ...

  4. C++两个矩阵相乘

    /*编程求两个矩阵相乘的结果.输入第一行是整数m,n,表示第一个矩阵式m行n列的:然后是一个m * n的矩阵.再下一行的输入时整数p,q,表示下一个矩阵p行,q列的(n=p);然后就是一个p行q列的矩 ...

  5. java Field 二三事

    java在反射时候经常用到了 Field 类. 我认为代码是最好的解释,直接上代码. 首先,用到了一个bean类,源代码如下: package com.ncs;      public class P ...

  6. POJ 2280 Amphiphilic Carbon Molecules 极角排序 + 扫描线

    从TLE的暴力枚举 到 13313MS的扫描线  再到 1297MS的简化后的扫描线,简直感觉要爽翻啦.然后满怀欣喜的去HDU交了一下,直接又回到了TLE.....泪流满面 虽说HDU的时限是2000 ...

  7. Axure-Axure RP For Chrome 演示扩展

    Axure RP生成的Html原型,其中包含JS文件,在本地进行演示时浏览器IE会弹出安全提醒.谷歌浏览器Chrome则需要在线安装一个Axure的扩展工具才可以演示. Axure RP Extens ...

  8. 【收藏】介绍RCU的好文章

    RCU原理: RCU(Read-Copy Update),顾名思义就是读-拷贝修改,它是基于其原理命名的.对于被RCU保护的共享数据结构,读者不需要获得任何锁就可以访问它,但写者在访问它时首先拷贝一个 ...

  9. Java-JUC（九）：使用Lock替换synchronized，使用Condition的await,singal,singalall替换object的wait,notify,notifyall实现线程间的通信

    Condition: condition接口描述了可能会与锁有关的条件变量.这些用法上与使用object.wait访问隐式监视器类似,但提供了更强大的功能.需要特别指出的是,单个lock可能与多个Co ...

  10. SVN 配置文件说明

    svnserve是SVN自带的一个轻型服务器,客户端通过使用以svn://或svn+ssh://为前缀的URL来访问svnserve服务器,实现远程访问SVN版本库.svnserve可以通过配置文件来 ...