目录

  • 前言
    • 一、BeautifulSoup的基本语法
    • 二、爬取网页图片
    • 扩展学习
  • 后记

前言

本章同样是解析一个网页的结构信息

在上章内容中（python网络爬虫之解析网页的正则表达式(爬取4k动漫图片)[三]）我们知道了可以使用re正则表达式来解析一个网页。

但是这样的一个解析方式可能对大部分没有正则表达式的人来说就比较困难了，

额，就算会的，也会嫌麻烦。比如me（￣︶￣）↗

那么我们本章同样是学习解析，只不过这个解析的方式不需要特别的一个学习功底。

能够分析一个网页的结构就行了

φ(*￣0￣)

本次的流程：

  1. 学习BeautifulSoup的基本语法
  2. 开始分析爬取

一、BeautifulSoup的基本语法

建议直接看官方文档
如果有什么进阶性的需求这章内容不能解决的话，就可以看官方文档：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/

下载lxml模块

解析器的区别可以参考文档上面的资料。

下好之后就可以测试了：
先给大家解析一波：

全部代码

"""

学习使用beautifulsoup的语法

"""

from bs4 import BeautifulSoup

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

# 1、实例化一个BeautifulSoup对象,并标明用什么解释器去解释（lxml）

 soup = BeautifulSoup(html_doc, "lxml")

# 按照格式化的内容排版 （优化排版）

 soup.prettify()

 print(soup)
# 2、获取特定的标签 (title) ps:如果有多个就返回第一个

 print(soup.title)
# 3、获取特定的标签 (title) 里面的值

 print(soup.title.string)
# 4、查询特定的标签 里面的值

 print(soup.find("a"))
# 5、查询全部标签 以ResultSet的形式

 print(soup.find_all("a")) # 查询所有标签为a的

 print(soup.find_all("a", attrs={"id": "link2"})) # 查询所有标签为a的,并且属性为id,属性值为link2

 print(soup.find_all(attrs={"id":"link3"})) # 查询所有属性为id,属性值为link3的

 print(soup.find_all(id="link1")) # 查询所有属性为id,属性值为link1的


# 6、获取父节点

 print(soup.find_all(id="link1")[0].parent.name) # 它的属性为ResultSet

 print(soup.find("a").parent.name)
# 7、获取子节点

 print(soup.find("p",attrs={"class":"story"}).contents) # 遍历了所有内容

 print(soup.find("p",attrs={"class":"story"}).clidren) # 有格式的遍历

 print(soup.find("p",attrs={"class":"story"}).descendants) # 遍历子孙节点
# 8、获取筒节点的上下节点

 print(soup.find("p", attrs={"class", "story"}))

 print(soup.find(id="link2").next_sibling) # 下一个节点

 print(soup.find(id="link2").previous_sibling.previous_sibling) # 上一个节点

 print(soup.find(id="link2").previous_siblings) # 下面所有节点

 print(soup.find(id="link2").previous_siblings) # 上面所有节点
# 9、获取一个标签中的属性值

 print(soup.find("a")["id"]) # 第一种方式

 print(soup.find("a").get("id"))# 第二种方式
# 10、获取一个标签中的所有属性值

 print(soup.find("a").attrs) # 全部属性

 print(soup.find("a").attrs["class"]) # 获取全部属性中的class属性的值

 print(soup.find("a").attrs.get("id"))# 获取全部属性中的id属性的值

二、爬取网页图片

这个仅仅就是用来学习的一个内容，学会了就可以自己去爬自己刚兴趣的东西

爬取的对象：https://maoyan.com/board/4

分析：

代码解读：

全部代码

"""

BeautifulSoup综合案例：爬取“猫眼电影的排行榜”

"""

import requests

from bs4 import BeautifulSoup

import os

headers = {

    "Cookie":"__mta=55342740.1575370883618.1575371366305.1575371383145.4; uuid_n_v=v1; uuid=3DACA12015BC11EABE1E1379EFD48C6B2BC02A509AA141CD821BF91F9AF4D24A; _csrf=0f7d373e4f690e2a84b3d5383f941f44faa7316e764ded1cf46f088e34b40614; Hm_lvt_703e94591e87be68cc8da0da7cbd0be2=1575370883; _lxsdk_cuid=16ecb6c014ec8-059803946267d8-2393f61-144000-16ecb6c014ec8; _lxsdk=3DACA12015BC11EABE1E1379EFD48C6B2BC02A509AA141CD821BF91F9AF4D24A; Hm_lpvt_703e94591e87be68cc8da0da7cbd0be2=1575371383; _lxsdk_s=16ecb6c014e-d7d-844-f5b%7C%7C15",

    "User-Agent": "Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14"

}

response = requests.get("https://maoyan.com/board/4", headers=headers)

# 获取当前根目录

root = os.getcwd()

# 在根目录中创建文件夹"第1页"

os.mkdir("第1页")

# 改变当前目录

os.chdir("第1页")

if response.status_code == 200:

    # 解析网页

    soup = BeautifulSoup(response.text, "lxml")

    imgTags = soup.find_all("img", attrs={"class": "board-img"})

    print(imgTags)

    for imgTag in imgTags:

        name = imgTag.get("alt")

        src = imgTag.get("data-src")

        resp = requests.get(src, headers=headers)

        with open(f"{name}.png", "wb") as f:

            f.write(resp.content)

        print(f"{name} {src} 保存成功")

扩展学习

"""

BeautifulSoup综合案例：

爬取“最好大学网”排行

"""

import requests

from bs4 import BeautifulSoup

headers = {

    "User-Agent": "Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14"

}

response = requests.get("http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html", headers=headers)

response.encoding = "utf-8"

if response.status_code == 200:

    soup = BeautifulSoup(response.text, "lxml")

    trTags = soup.find_all("tr", attrs={"class": "alt"})

    for trTag in trTags:

        id = trTag.contents[0].string

        name = trTag.contents[1].string

        addr = trTag.contents[2].string

        sco = trTag.contents[3].string

        print(f"{id} {name} {addr} {sco}")

后记

本章的内容也是解析数据，但是对于正则表达式来说的话实在是方便太多了，

下一章的内容还是解析，不过是使用xpath解析

如果感觉本章写的还不错的话，不如。。。。。(～￣▽￣)～ ，(´▽`ʃ♡ƪ)

python网络爬虫之解析网页的BeautifulSoup(爬取电影图片)[三]的更多相关文章

  1. python网络爬虫之解析网页的正则表达式(爬取4k动漫图片)[三]

    前言 hello,大家好 本章可是一个重中之重,因为我们今天是要爬取一个图片而不是一个网页或是一个json 所以我们也就不用用到selenium模块了,当然有兴趣的同学也一样可以使用selenium去 ...

  2. python网络爬虫之解析网页的XPath(爬取Path职位信息)[三]

    目录 前言 XPath的使用方法 XPath爬取数据 后言 @(目录) 前言 本章同样是解析网页,不过使用的解析技术为XPath. 相对于之前的BeautifulSoup,我感觉还行,也是一个比较常用 ...

  3. Python 网络爬虫 007 (编程) 通过网站地图爬取目标站点的所有网页

    通过网站地图爬取目标站点的所有网页 使用的系统:Windows 10 64位 Python 语言版本:Python 2.7.10 V 使用的编程 Python 的集成开发环境:PyCharm 2016 ...

  4. （转）Python网络爬虫实战：世纪佳缘爬取近6万条数据

    又是一年双十一了,不知道从什么时候开始,双十一从“光棍节”变成了“双十一购物狂欢节”,最后一个属于单身狗的节日也成功被攻陷,成为了情侣们送礼物秀恩爱的节日. 翻着安静到死寂的聊天列表,我忽然惊醒,不行 ...

  5. Python开发爬虫之BeautifulSoup解析网页篇：爬取安居客网站上北京二手房数据

    目标:爬取安居客网站上前10页北京二手房的数据,包括二手房源的名称.价格.几室几厅.大小.建造年份.联系人.地址.标签等. 网址为:https://beijing.anjuke.com/sale/ B ...

  6. ASP.NET网络爬虫小研究 HtmlAgilityPack基础，爬取数据保存在数据库中再显示再自己的网页中

    1.什么是网络爬虫 关于爬虫百度百科这样定义的:网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些 ...

  7. 一篇文章带你用Python网络爬虫实现网易云音乐歌词抓取

    前几天小编给大家分享了数据可视化分析,在文尾提及了网易云音乐歌词爬取,今天小编给大家分享网易云音乐歌词爬取方法. 本文的总体思路如下: 找到正确的URL,获取源码: 利用bs4解析源码,获取歌曲名和歌 ...

  8. python3网络爬虫（2.1）：爬取堆糖美女

    额,明明记得昨晚存了草稿箱,一觉醒来没了,那就简写点(其实是具体怎么解释我也不太懂/xk,纯属个人理解,有错误还望指正) 环境: 版本:python3 IDE:pycharm2017.3.3 浏览器: ...

  9. Python网络爬虫数据解析的三种方式

    request实现数据爬取的流程: 指定url 基于request发起请求 获取响应的数据 数据解析 持久化存储 1.正则解析: 常用的正则回顾:https://www.cnblogs.com/wqz ...

随机推荐

  1. 成功的面对对象语言的五个基本特性——Alan Kay

    1.万物皆为对象. 将对象是为奇特的变量,它可以存储数据,除此之外,还可以要求他在自身上执行操作. 2.程序是对象的集合,他们通过发送消息来告知彼此所要做的. 要想请求一个对象,就必须对该对项发送一条 ...

  2. 爬取豆瓣top250音乐 时长 出版商 存入Mongo数据库

    import requestsfrom lxml import etreeimport reimport pymongoimport time client = pymongo.MongoClient ...

  3. 【SSL1455&1456】 电子老鼠闯迷宫 & 骑士游行

    考点概况: 广搜板子 题面: \[\Large\text{电子老鼠闯迷宫}\] \[Time~Limit:1000MS~~Memory~Limit:65536K\] Description 如下图12 ...

  4. ThinkPHP5——模型(model)的使用

    在使用ThinkPHP5的过程中,我经常使用db进行数据库操作的,后来接触到了模型(model),刚使用时感觉跟db没啥区别,后来查官网知道模型基类中还提供了较多的其他的方法可以方便使用例如获取器.修 ...

  5. postman+newman+html测试报告（接口自动化）

    1.安装node.js(Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境) 下载安装node.js,下载地址:https://nodejs.org/en/ 2.安 ...

  6. luogu P4170 [CQOI2007]涂色

    题目描述 假设你有一条长度为5的木版,初始时没有涂过任何颜色.你希望把它的5个单位长度分别涂上红.绿.蓝.绿.红色,用一个长度为5的字符串表示这个目标:RGBGR. 每次你可以把一段连续的木版涂成一个 ...

  7. 胸部CT提取分割肺部

    1. 肺部分割提取简介 在处理胸部CT时,我们常常需要获取肺部的一个mask,也就是将肺部结构从数据中提取出来.二维图像还好说,但是三维图像就会变得复杂复杂一点.肺部的分割常常做后续操作的预处理,所以 ...

  8. 纯手工搭建K8s(单节点)

    准备说明: 因为为纯手动搭建,所以针对安装时需要的一些安装包需提前下载好 cfssl_linux-amd64. cfssljson_linux-amd64. cfssl-certinfo_linux- ...

  9. 解决老浏览器不支持ES6的方法

    转载地址:http://www.rockyxia.com/?p=669 为什么ES6会有兼容性问题? 由于广大用户使用的浏览器版本在发布的时候也许早于ES6的定稿和发布,而到了今天,我们在编程中如果使 ...

  10. Wireshark数据包分析入门

    Wireshark数据包分析(一)——使用入门   Wireshark简介: Wireshark是一款最流行和强大的开源数据包抓包与分析工具,没有之一.在SecTools安全社区里颇受欢迎,曾一度超越 ...