一.爬虫数据解析的流程

　　1.指定url

　　2.基于requests模块发起请求

　　3.获取响应中的数据

　　4.数据解析

　　5.进行持久化存储

二.解析方法

　　(1)正则解析

　　(2)bs4解析

　　(3)xpath解析

　　1. 正则解析

　　　　常用正则表达式

　　

 单字符：

         . : 除换行以外所有字符

         [] ：[aoe] [a-w] 匹配集合中任意一个字符

         \d ：数字  [0-9]

         \D : 非数字

         \w ：数字、字母、下划线、中文

         \W : 非\w

         \s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。

         \S : 非空白

 数量修饰：

         * : 任意多次  >=0

         + : 至少1次   >=1

         ? : 可有可无  0次或者1次

         {m} ：固定m次 hello{3,}

         {m,} ：至少m次

         {m,n} ：m-n次

 边界：

         $ : 以某某结尾

         ^ : 以某某开头

 分组：

         (ab)

 贪婪模式： .*

 非贪婪（惰性）模式： .*?

     re.I : 忽略大小写

     re.M ：多行匹配

     re.S ：单行匹配

     re.sub(正则表达式, 替换内容, 字符串)

　　　　正则使用练习:

 import re

 #提取出python

 key="javapythonc++php"

 re.findall('python',key)[0]

 #####################################################################

 #提取出hello world

 key="<html><h1>hello world<h1></html>"

 re.findall('<h1>(.*)<h1>',key)[0]

 #####################################################################

 #提取170

 string = '我喜欢身高为170的女孩'

 re.findall('\d+',string)

 #####################################################################

 #提取出http://和https://

 key='http://www.baidu.com and https://boob.com'

 re.findall('https?://',key)

 #####################################################################

 #提取出hello

 key='lalala<hTml>hello</HtMl>hahah' #输出<hTml>hello</HtMl>

 re.findall('<[Hh][Tt][mM][lL]>(.*)</[Hh][Tt][mM][lL]>',key)

 #####################################################################

 #提取出hit.

 key='bobo@hit.edu.com'#想要匹配到hit.

 re.findall('h.*?\.',key)

 #####################################################################

 #匹配sas和saas

 key='saas and sas and saaas'

 re.findall('sa{1,2}s',key)

 #####################################################################

 #匹配出i开头的行

 string = '''fall in love with you

 i love you very much

 i love she

 i love her'''

 re.findall('^.*',string,re.M)

 #####################################################################

 #匹配全部行

 string1 = """<div>静夜思

 窗前明月光

 疑是地上霜

 举头望明月

 低头思故乡

 </div>"""

 re.findall('.*',string1,re.S)

　　　　应用:  爬取糗事百科指定页面的糗图，并将其保存到指定文件夹中

 import requests

 import re

 import os

 if __name__ == "__main__":

      url = 'https://www.qiushibaike.com/pic/%s/'

      headers={

          'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',

      }

      #指定起始也结束页码

      page_start = int(input('enter start page:'))

      page_end = int(input('enter end page:'))

      #创建文件夹

      if not os.path.exists('images'):

          os.mkdir('images')

      #循环解析且下载指定页码中的图片数据

      for page in range(page_start,page_end+1):

          print('正在下载第%d页图片'%page)

          new_url = format(url % page)

          response = requests.get(url=new_url,headers=headers)

          #解析response中的图片链接

          e = '<div class="thumb">.*?<img src="(.*?)".*?>.*?</div>'

          pa = re.compile(e,re.S)

          image_urls = pa.findall(response.text)

           #循环下载该页码下所有的图片数据

          for image_url in image_urls:

              image_url = 'https:' + image_url

              image_name = image_url.split('/')[-1]

              image_path = 'images/'+image_name

              image_data = requests.get(url=image_url,headers=headers).content

              with open(image_path,'wb') as fp:

                  fp.write(image_data)

 　　2.BeautifulSoup 解析

　　　　需要安装：pip install bs4 bs4

　　　　需要一个第三方库: pip install lxml

　　使用方法

 使用流程：

     - 导包：from bs4 import BeautifulSoup

     - 使用方式：可以将一个html文档，转化为BeautifulSoup对象，然后通过对象的方法或者属性去查找指定的节点内容

         （1）转化本地文件：

              - soup = BeautifulSoup(open('本地文件'), 'lxml')

         （2）转化网络文件：

              - soup = BeautifulSoup('字符串类型或者字节类型', 'lxml')

         （3）打印soup对象显示内容为html文件中的内容

 基础巩固：

     （1）根据标签名查找

         - soup.a   只能找到第一个符合要求的标签

     （2）获取属性

         - soup.a.attrs  获取a所有的属性和属性值，返回一个字典

         - soup.a.attrs['href']   获取href属性

         - soup.a['href']   也可简写为这种形式

     （3）获取内容

         - soup.a.string

         - soup.a.text

         - soup.a.get_text()

        【注意】如果标签还有标签，那么string获取到的结果为None，而其它两个，可以获取文本内容

     （4）find：找到第一个符合要求的标签

         - soup.find('a')  找到第一个符合要求的

         - soup.find('a', title="xxx")

         - soup.find('a', alt="xxx")

         - soup.find('a', class_="xxx")

         - soup.find('a', id="xxx")

     （5）find_all：找到所有符合要求的标签

         - soup.find_all('a')

         - soup.find_all(['a','b']) 找到所有的a和b标签

         - soup.find_all('a', limit=2)  限制前两个

     （6）根据选择器选择指定的内容

                select:soup.select('#feng')

         - 常见的选择器：标签选择器(a)、类选择器(.)、id选择器(#)、层级选择器

             - 层级选择器：

                 div .dudu #lala .meme .xixi  下面好多级

                 div > p > a > .lala          只能是下面一级

         【注意】select选择器返回永远是列表，需要通过下标提取指定的对象

　　应用: 使用bs4实现将诗词名句网站中三国演义小说的每一章的内容爬去到本地磁盘进行存储   http://www.shicimingju.com/book/sanguoyanyi.html

 import requests

 from bs4 import BeautifulSoup

 headers={

          'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',

      }

 def parse_content(url):

     #获取标题正文页数据

     page_text = requests.get(url,headers=headers).text

     soup = BeautifulSoup(page_text,'lxml')

     #解析获得标签

     ele = soup.find('div',class_='chapter_content')

     content = ele.text #获取标签中的数据值

     return content

 if __name__ == "__main__":

      url = 'http://www.shicimingju.com/book/sanguoyanyi.html'

      reponse = requests.get(url=url,headers=headers)

      page_text = reponse.text

      #创建soup对象

      soup = BeautifulSoup(page_text,'lxml')

      #解析数据

      a_eles = soup.select('.book-mulu > ul > li > a')

      print(a_eles)

      cap = 1

      for ele in a_eles:

          print('开始下载第%d章节'%cap)

          cap+=1

          title = ele.string

          content_url = 'http://www.shicimingju.com'+ele['href']

          content = parse_content(content_url)

          with open('./sanguo.txt','w') as fp:

              fp.write(title+":"+content+'\n\n\n\n\n')

              print('结束下载第%d章节'%cap)

　　3. xpath解析

　　　　pip install lxml

　　　　使用方法:

1.下载：pip install lxml

2.导包：from lxml import etree

3.将html文档或者xml文档转换成一个etree对象，然后调用对象中的方法查找指定的节点

　　2.1 本地文件：tree = etree.parse(文件名)

                tree.xpath("xpath表达式")

　　2.2 网络数据：tree = etree.HTML(网页内容字符串)

                tree.xpath("xpath表达式")

　　测试数据:

<html lang="en">

<head>

    <meta charset="UTF-8" />

    <title>测试bs4</title>

</head>

<body>

    <div>

        <p>百里守约</p>

    </div>

    <div class="song">

        <p>李清照</p>

        <p>王安石</p>

        <p>苏轼</p>

        <p>柳宗元</p>

        <a href="http://www.song.com/" title="赵匡胤" target="_self">

            <span>this is span</span>

        宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱</a>

        <a href="" class="du">总为浮云能蔽日,长安不见使人愁</a>

        <img src="http://www.baidu.com/meinv.jpg" alt="" />

    </div>

    <div class="tang">

        <ul>

            <li><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>

            <li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>

            <li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>

            <li><a href="http://www.sina.com" class="du">杜甫</a></li>

            <li><a href="http://www.dudu.com" class="du">杜牧</a></li>

            <li><b>杜小月</b></li>

            <li><i>度蜜月</i></li>

            <li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>

        </ul>

    </div>

</body>

</html>

　　表达式:

 属性定位：

     #找到class属性值为song的div标签

     //div[@class="song"]

 层级&索引定位：

     #找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的直系子标签a

     //div[@class="tang"]/ul/li[2]/a

 逻辑运算：

     #找到href属性值为空且class属性值为du的a标签

     //a[@href="" and @class="du"]

 模糊匹配：

     //div[contains(@class, "ng")]

     //div[starts-with(@class, "ta")]

 取文本：

     # /表示获取某个标签下的文本内容

     # //表示获取某个标签下的文本内容和所有子标签下的文本内容

     //div[@class="song"]/p[1]/text()

     //div[@class="tang"]//text()

 取属性：

     //div[@class="tang"]//li[2]/a/@href

　　应用: 获取好段子中段子的内容和作者   http://www.haoduanzi.com

 from lxml import etree

 import requests

 url='http://www.haoduanzi.com/category-10_2.html'

 headers = {

         'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',

     }

 url_content=requests.get(url,headers=headers).text

 #使用xpath对url_conten进行解析

 #使用xpath解析从网络上获取的数据

 tree=etree.HTML(url_content)

 #解析获取当页所有段子的标题

 title_list=tree.xpath('//div[@class="log cate10 auth1"]/h3/a/text()')

 ele_div_list=tree.xpath('//div[@class="log cate10 auth1"]')

 text_list=[] #最终会存储12个段子的文本内容

 for ele in ele_div_list:

     #段子的文本内容（是存放在list列表中）

     text_list=ele.xpath('./div[@class="cont"]//text()')

     #list列表中的文本内容全部提取到一个字符串中

     text_str=str(text_list)

     #字符串形式的文本内容防止到all_text列表中

     text_list.append(text_str)

 print(title_list)

 print(text_list)

　　下载煎蛋网中的图片数据 : http://jandan.net/ooxx

 import requests

 from lxml import etree

 from fake_useragent import UserAgent

 import base64

 import urllib.request

 url = 'http://jandan.net/ooxx'

 ua = UserAgent(verify_ssl=False,use_cache_server=False).random

 headers = {

     'User-Agent':ua

 }

 page_text = requests.get(url=url,headers=headers).text

 #查看页面源码：发现所有图片的src值都是一样的。

 #简单观察会发现每张图片加载都是通过jandan_load_img(this)这个js函数实现的。

 #在该函数后面还有一个class值为img-hash的标签，里面存储的是一组hash值，该值就是加密后的img地址

 #加密就是通过js函数实现的，所以分析js函数，获知加密方式，然后进行解密。

 #通过抓包工具抓取起始url的数据包，在数据包中全局搜索js函数名（jandan_load_img），然后分析该函数实现加密的方式。

 #在该js函数中发现有一个方法调用，该方法就是加密方式，对该方法进行搜索

 #搜索到的方法中会发现base64和md5等字样，md5是不可逆的所以优先考虑使用base64解密

 #print(page_text)

 tree = etree.HTML(page_text)

 #在抓包工具的数据包响应对象对应的页面中进行xpath的编写，而不是在浏览器页面中。

 #获取了加密的图片url数据

 imgCode_list = tree.xpath('//span[@class="img-hash"]/text()')

 imgUrl_list = []

 for url in imgCode_list:

     #base64.b64decode(url)为byte类型，需要转成str

     img_url = 'http:'+base64.b64decode(url).decode()

     imgUrl_list.append(img_url)

 for url in imgUrl_list:

     filePath = url.split('/')[-1]

     urllib.request.urlretrieve(url=url,filename=filePath)

     print(filePath+'下载成功')

文章: https://www.cnblogs.com/bobo-zhang/p/9682516.html

05 Python网络爬虫的数据解析方式的更多相关文章

  1. 05.Python网络爬虫之三种数据解析方式

    引入 回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指 ...

  2. 05，Python网络爬虫之三种数据解析方式

    回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指定数据 ...

  3. 《Python网络爬虫之三种数据解析方式》

    引入 回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指 ...

  4. Python网络爬虫之三种数据解析方式 (xpath, 正则, bs4)

    引入 回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指 ...

  5. Python爬虫之三种数据解析方式

    一.引入 二.回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需 ...

  6. python爬虫---爬虫的数据解析的流程和解析数据的几种方式

    python爬虫---爬虫的数据解析的流程和解析数据的几种方式 一丶爬虫数据解析 概念:将一整张页面中的局部数据进行提取/解析 作用:用来实现聚焦爬虫的吧 实现方式: 正则 (针对字符串) bs4 x ...

  7. Python爬虫的三种数据解析方式

    数据解析方式 - 正则 - xpath - bs4 数据解析的原理: 标签的定位 提取标签中存储的文本数据或者标签属性中存储的数据 正则 # 正则表达式 单字符: . : 除换行以外所有字符 [] : ...

  8. python网络爬虫之解析网页的正则表达式(爬取4k动漫图片)[三]

    前言 hello,大家好 本章可是一个重中之重,因为我们今天是要爬取一个图片而不是一个网页或是一个json 所以我们也就不用用到selenium模块了,当然有兴趣的同学也一样可以使用selenium去 ...

  9. python网络爬虫之解析网页的BeautifulSoup(爬取电影图片)[三]

    目录 前言 一.BeautifulSoup的基本语法 二.爬取网页图片 扩展学习 后记 前言 本章同样是解析一个网页的结构信息 在上章内容中(python网络爬虫之解析网页的正则表达式(爬取4k动漫图 ...

随机推荐

  1. koa 基础（十七）原生 JS 中的类、静态方法、继承

    1.app.js /** * 原生 JS 中的类.静态方法.继承 * es5中的类和静态方法 */ function Person(name, age) { // 构造函数里面的方法和属性 this. ...

  2. BFC是什么？有什么作用？

    BFC(Block Formatting Context)直译为“块级格式化范围”. 一.常见定位方案 在讲 BFC 之前,我们先来了解一下常见的定位方案,定位方案是控制元素的布局,有三种常见方案: ...

  3. Java编写能完成复数运算的程序

    Java编写能完成复数运算的程序 题目简介: 整体分析: 界面分析: 实验代码: package complex; import java.awt.EventQueue; import javax.s ...

  4. "并发用户数量"的正确英文表示

    并发用户数量the number of concurrent users 最佳并发用户数量the optimum number of concurrent users 最大并发用户数量 the max ...

  5. iOS类型的转换

    1.NSData和NSString的转换: - (void)viewDidLoad { [super viewDidLoad]; // 字符串 NSString *str = "; NSLo ...

  6. win2008系统：iis配置备份和还原简单操作

    (2013-09-26 16:33:22) 转载▼   分类: 开发类 当我们电脑系统有大量的站点和虚拟目录的时候,电脑因为种种原因需要重做系统,那么重装系统后这些站点我们是否只能一个一个的添加,如果 ...

  7. vtk画折线，并且禁止鼠标交互

    VTK画图,禁止鼠标拖动时滚动图形,鼠标滚轮滚动时放大/缩小图形的方法. renderLine.InteractiveOff(); 下面是VTK画折线的代码 // Create five points ...

  8. 关于ckeditor在IE下出现不兼容的问题

    今天在用ckeditor时在ie下测试出现了不兼容问题,样式,字体等属性设置不了. 后来在html标签上方添加了: <!DOCTYPE html PUBLIC "-//W3C//DTD ...

  9. 6-2 shell编程基础

    shell编程基础 编程基础 Linus:Talk is cheap, show me the code 程序和编程风格 程序: 程序:算法+数据结构 数据:是程序的核心 算法:处理数据的方式 数据结 ...

  10. Xshell 6 安装注册说明

    1.下载 官方下载到的版本在进行安装的时候,是有序列号输入框的如下图,但是好像我们从那个所谓的官网上下载的却没有,只能下载到一点击注册就跳转到一个网站的那种版本. 像上面这种版本如何下载呢? 我们去官 ...