Python爬虫基础之BeautifulSoup

一、BeautifulSoup的基本使用

 from bs4 import BeautifulSoup

 from bs4 import SoupStrainer

 import re

 html_doc = """

 <html>

  <head>

   <title>

    The Dormouse's story

   </title>

  </head>

  <body>

   <p class="title">

    <b>

     The Dormouse's story

    </b>

   </p>

   <p class="story">

    Once upon a time there were three little sisters; and their names were

    <a class="sister" href="http://example.com/elsie" id="link1">

     Elsie

    </a>

    ,

    <a class="sister" href="http://example.com/lacie" id="link2">

     Lacie

    </a>

    and

    <a class="sister" href="http://example.com/tillie" id="link3">

     Tillie

    </a>

    ; and they lived at the bottom of a well.

   </p>

   <p class="story">

    ...

   </p>

  </body>

 </html>

 """

 soup = BeautifulSoup(html_doc, "html.parser")

 # print(soup.prettify()) # 打印所有标准化html code

 print('-----------------------------')

 print(soup.title)

 print('----------------------------')

 print(soup.title.name)

 print('----------------------------')

 print(soup.title.string)

 print('----------------------------')

 print(soup.title.parent.name)

 print('----------------------------')

 print(soup.p)

 # item_b = soup.p.

 print('----------------------------')

 print(soup.p['class'])

 print('----------------------------')

 print(soup.find_all('a'))

 print('----------------------------')

 print(soup.find(id='link3'))

 print(soup.find(id='link3')['class'])

 print(soup.find(id='link3')['href'])  # 打印指定属性文本

 print(soup.find(id='link3')['id'])

 print(soup.find(id='link3').get_text())  # 打印文本

 # find_all(name, attrs, recursive, text, limit, **kwargs)

 # name 参数

 soup.find_all('title')

 # keyword参数

 soup.find_all(id='link2')

 soup.find_all(href=re.compile("elsie"))

 soup.find_all(id=True) # 在文档树中查找所有包含 id 属性的tag,无论 id 的值是什么

 soup.find_all(href=re.compile("elsie"), id='link1') # 多个指定名字的参数可以同时过滤tag的多个属性

 soup.find_all(attrs={"data-foo": "value"}) # 可以通过 find_all() 方法的 attrs 参数定义一个字典参数来搜索包含特殊属性的tag:

 soup.find_all('a', limit=2)  # 当搜索结果到达limit个数，就停止搜索

 # 按CSS搜索

 soup.find_all("a", class_="sister")

 soup.find_all(class_=re.compile("itl"))  # class_ 参数同样接受不同类型的 过滤器 ,字符串,正则表达式

 # CSS选择器

 title_list = soup.select('head > title') # 查找所有满足条件的元素

 title_list_one = soup.select_one('head > title')  # 查找单个满足条件的元素

 print(title_list)  # 打印 [<title> The Dormouse's story</title>]

 print(title_list[0].string)  # 打印The Dormouse's story<

 # 文档中找到所有<a>标签的链接：

 for link in soup.find_all('a'):

     print(link.get('href'))

 # http://example.com/elsie

 # http://example.com/lacie

 # http://example.com/tillie

 # find查找元素第一个类样式未story的p标签

 p_story = soup.find('p',class_='story')

 # print(p_story.a)

 # 使用正则表达式

 p_re_all = soup.find_all(re.compile('p'))

 print(p_re_all)

 # find_all查找所有class_=True匹配任何类样式的p标签

 p_all = soup.find_all('p', class_=True)

 # print(p_all)  # 打印数组

 # [<p class="title">

 # <b>

 #     The Dormouse's story

 #    </b>

 # </p>, <p class="story">

 #    Once upon a time there were three little sisters; and their names were

 #    <a class="sister" href="http://example.com/elsie" id="link1">

 #     Elsie

 #    </a>

 #    ,

 #    <a class="sister" href="http://example.com/lacie" id="link2">

 #     Lacie

 #    </a>

 #    and

 #    <a class="sister" href="http://example.com/tillie" id="link3">

 #     Tillie

 #    </a>

 #    ; and they lived at the bottom of a well.

 #   </p>, <p class="story">

 #    ...

 #   </p>]

二、BeautifulSoup的实际应用

1.解析网易云音乐html源码

这是网易云音乐华语歌曲的分类链接http://music.163.com/#/discover/playlist/?order=hot&cat=华语&limit=35&offset=0，打开Chrome F12的Elements查看到页面源码，我们发现每页的歌单都在一个iframe浮窗上面，每首单曲的信息构成一个li标签，包含歌单图片、

歌单链接、歌单名称等。

首先提取一段html源码出来

  <ul class="m-cvrlst f-cb" id="m-pl-container">

    <li>

     <div class="u-cover u-cover-1">

      <img class="j-flag" src="http://p1.music.126.net/FGe-rVrHlBTbnOvhMR99PQ==/109951162989189558.jpg?param=140y140" />

      <a title="【说唱】留住你一面，画在我心间" href="/playlist?id=832790627" class="msk"></a>

      <div class="bottom">

       <a class="icon-play f-fr" title="播放" href="javascript:;" data-res-type="13" data-res-id="832790627" data-res-action="play"></a>

       <span class="icon-headset"></span>

       <span class="nb">1615</span>

      </div>

     </div> <p class="dec"> <a title="【说唱】留住你一面，画在我心间" href="/playlist?id=832790627" class="tit f-thide s-fc0">【说唱】留住你一面，画在我心间</a> </p> <p><span class="s-fc4">by</span> <a title="JediMindTricks" href="/user/home?id=17647877" class="nm nm-icn f-thide s-fc3">JediMindTricks</a> <sup class="u-icn u-icn-84 "></sup> </p> </li>

    <li>

     <div class="u-cover u-cover-1">

      <img class="j-flag" src="http://p1.music.126.net/If644P7ZrfPm_qcvtYyfzg==/18936888765458653.jpg?param=140y140" />

      <a title="鞋子好看｜国产自赏摇滚噪音流行" href="/playlist?id=721462105" class="msk"></a>

      <div class="bottom">

       <a class="icon-play f-fr" title="播放" href="javascript:;" data-res-type="13" data-res-id="721462105" data-res-action="play"></a>

       <span class="icon-headset"></span>

       <span class="nb">77652</span>

      </div>

     </div> <p class="dec"> <a title="鞋子好看｜国产自赏摇滚噪音流行" href="/playlist?id=721462105" class="tit f-thide s-fc0">鞋子好看｜国产自赏摇滚噪音流行</a> </p> <p><span class="s-fc4">by</span> <a title="原创君" href="/user/home?id=201586" class="nm nm-icn f-thide s-fc3">原创君</a> <sup class="u-icn u-icn-1 "></sup> </p> </li>

   </ul>

开始解析html源码

首先实例化一个BeautifulSoup对象，指定解析器为html.parser,通过BeautifulSoup对象的CSS选择器select_one()，这里用ID选择器搜索到无序列表ul，再通过find_all获取ul下的所有li标签，接着遍历li，获取到歌单的图片链接，歌单列表链接和歌单名称。

 from bs4 import BeautifulSoup

 html = '''上面提取的html源码'''

 soup = BeautifulSoup(html, 'html.parser')

 ul = soup.select_one('#m-pl-container')

 for li in ul.find_all('li'):

     img_url = li.img['src']

     a_msk = li.find('a', class_='msk')

     musicList_url = 'http:/%s' % a_msk['href']

     musicList_name = a_msk['title']

     print(img_url,musicList_url,musicList_name)  # 打印 http://p1.music.126.net/FGe-rVrHlBTbnOvhMR99PQ==/109951162989189558.jpg?param=140y140 http://playlist?id=832790627 【说唱】留住你一面，画在我心间

三、Beautiful Soup 4.4.0

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.详细使用请转移官网 http://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/

Python爬虫基础之BeautifulSoup的更多相关文章

Python爬虫基础
前言 Python非常适合用来开发网页爬虫,理由如下: 1.抓取网页本身的接口相比与其他静态编程语言,如java,c#,c++,python抓取网页文档的接口更简洁:相比其他动态脚本语言,如perl ...
python爬虫-基础入门-python爬虫突破封锁
python爬虫-基础入门-python爬虫突破封锁 >> 相关概念 >> request概念:是从客户端向服务器发出请求,包括用户提交的信息及客户端的一些信息.客户端可通过H ...
python爬虫-基础入门-爬取整个网站《3》
python爬虫-基础入门-爬取整个网站<3> 描述: 前两章粗略的讲述了python2.python3爬取整个网站,这章节简单的记录一下python2.python3的区别 python ...
python爬虫-基础入门-爬取整个网站《2》
python爬虫-基础入门-爬取整个网站<2> 描述: 开场白已在<python爬虫-基础入门-爬取整个网站<1>>中描述过了,这里不在描述,只附上 python3 ...
python爬虫-基础入门-爬取整个网站《1》
python爬虫-基础入门-爬取整个网站<1> 描述: 使用环境:python2.7.15 ,开发工具:pycharm,现爬取一个网站页面(http://www.baidu.com)所有数 ...
Python爬虫基础之认识爬虫
一.前言爬虫Spider什么的,老早就听别人说过,感觉挺高大上的东西,爬网页,爬链接~~~dos黑屏的数据刷刷刷不断地往上冒,看着就爽,漂亮的校花照片,音乐网站的歌曲,笑话.段子应有尽有,全部都过来 ...
Python爬虫：用BeautifulSoup进行NBA数据爬取
爬虫主要就是要过滤掉网页中没用的信息.抓取网页中实用的信息一般的爬虫架构为: 在python爬虫之前先要对网页的结构知识有一定的了解.如网页的标签,网页的语言等知识,推荐去W3School: W3s ...
python 爬虫基础知识一
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本. 网络爬虫必备知识点 1. Python基础知识2. P ...
Python爬虫基础（一）——HTTP
前言因特网联系的是世界各地的计算机(通过电缆),万维网联系的是网上的各种各样资源(通过超文本链接),如静态的HTML文件,动态的软件程序······.由于万维网的存在,处于因特网中的每台计算机可以很 ...

随机推荐

Supervisor安装与使用
一.简介 1.supervisor是什么 superviosr是一个Linux/Unix系统上进程监控和管理的工具,它由python编写,可以用pip安装.supervisor能将一个普通的命令行进程 ...
常见排序算法总结:插入排序，希尔排序，冒泡排序，快速排序，简单选择排序以及java实现
今天来总结一下常用的内部排序算法.内部排序算法们需要掌握的知识点大概有:算法的原理,算法的编码实现,算法的时空复杂度的计算和记忆,何时出现最差时间复杂度,以及是否稳定,何时不稳定. 首先来总结下常用内 ...
Android List 排序
Collections.sort(list, (l1, l2) -> l1.getID().compareTo(l2.getID())); list:泛型集合 l1:比较的前一个泛型 l2:比较 ...
Python--基础二
Python基础:字符串str & 列表list & 元组tuple & 字典dict & 集合set Python 基础 2 字符串 str 字符串是以单引号或双引号 ...
微信公众、QQ群、知识星球（附比特币链接）
文章一般都会在公众号抢先预览,一个系列出差不多的时候一般博客园汇总一下(文章很长) 微信公众号:逸鹏说道(dotnetcrazy) 群友刚创建的Python中级群,有一定Python基础的可以共同探讨 ...
（转）Java并发包基石-AQS详解
背景:之前在研究多线程的时候,模模糊糊知道AQS这个东西,但是对于其内部是如何实现,以及具体应用不是很理解,还自认为多线程已经学习的很到位了,贻笑大方. Java并发包基石-AQS详解Java并发包( ...
关于vue的增删改查操作
利用vue也可以实现数据的增删改查,只是未涉及到数据库,只是在浏览器页面中进行操作. 将datas数组中的数据循环输出: 再增加一行,用于保存新数据,编辑数据后保存: 此时,数据已经呈现出来,开始进行 ...
0. Java虚拟机系列备忘预览图
打算把Java虚拟机这块单独弄一个主题出来,做做备忘,结构如图所示: 后面还有一部分待更新...
一次mysql主从加keepalived配置搭建及切换演示
[需求] 根据需求需要搭建mysql主从架构数据库及加keepalived进行自动切换VIP [环境介绍] 系统环境:CentOS release 6.4 (Final) + Server vers ...
五十六、linux 编程——UDP 编程模型
56.1 UDP 编程模型 56.1.1 编程模型 UDP 协议称为用户数据报文协议,可靠性比 TCP 低,但执行效率高 56.1.2 API (1)发送数据函数参数: sockfs:套接字文件描述 ...