一.正则解析

常用正则表达式回顾:

  1. 单字符：
  2.         . : 除换行以外所有字符
  3.         [] ：[aoe] [a-w] 匹配集合中任意一个字符
  4.         \d ：数字  [0-9]
  5.         \D : 非数字
  6.         \w ：数字、字母、下划线、中文
  7.         \W : 非\w
  8.         \s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。
  9.         \S : 非空白
  10.     数量修饰：
  11.         * : 任意多次  >=0
  12.         + : 至少1次   >=1
  13.         ? : 可有可无  0次或者1次
  14.         {m} ：固定m次 hello{3,}
  15.         {m,} ：至少m次
  16.         {m,n} ：m-n次
  17.     边界：
  18.         $ : 以某某结尾
  19.         ^ : 以某某开头
  20.     分组：
  21.         (ab)
  22.     贪婪模式： .*
  23.     非贪婪（惰性）模式： .*?
  24.  
  25.     re.I : 忽略大小写
  26.     re.M ：多行匹配
  27.     re.S ：单行匹配
  28.  
  29.     re.sub(正则表达式, 替换内容, 字符串)
  • 回顾练习：
  1. import re
  2. #提取出python
  3. key="javapythonc++php"
  4. re.findall('python',key)[0]
  5. #####################################################################
  6. #提取出hello world
  7. key="<html><h1>hello world<h1></html>"
  8. re.findall('<h1>(.*)<h1>',key)[0]
  9. #####################################################################
  10. #提取170
  11. string = '我喜欢身高为170的女孩'
  12. re.findall('\d+',string)
  13. #####################################################################
  14. #提取出http://和https://
  15. key='http://www.baidu.com and https://boob.com'
  16. re.findall('https?://',key)
  17. #####################################################################
  18. #提取出hello
  19. key='lalala<hTml>hello</HtMl>hahah' #输出<hTml>hello</HtMl>
  20. re.findall('<[Hh][Tt][mM][lL]>(.*)</[Hh][Tt][mM][lL]>',key)
  21. #####################################################################
  22. #提取出hit.
  23. key='bobo@hit.edu.com'#想要匹配到hit.
  24. re.findall('h.*?\.',key)
  25. #####################################################################
  26. #匹配sas和saas
  27. key='saas and sas and saaas'
  28. re.findall('sa{1,2}s',key)
  29. #####################################################################
  30. #匹配出i开头的行
  31. string = '''fall in love with you
  32. i love you very much
  33. i love she
  34. i love her'''
  35.  
  36. re.findall('^.*',string,re.M)
  37. #####################################################################
  38. #匹配全部行
  39. string1 = """<div>静夜思
  40. 窗前明月光
  41. 疑是地上霜
  42. 举头望明月
  43. 低头思故乡
  44. </div>"""
  45.  
  46. re.findall('.*',string1,re.S)

项目需求：爬取糗事百科指定页面的糗图，并将其保存到指定文件夹中

  1. #!/usr/bin/env python
  2. # -*- coding:utf-8 -*-
  3. import requests
  4. import re
  5. import os
  6. if __name__ == "__main__":
  7.      url = 'https://www.qiushibaike.com/pic/%s/'
  8.      headers={
  9.          'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
  10.      }
  11.      #指定起始也结束页码
  12.      page_start = int(input('enter start page:'))
  13.      page_end = int(input('enter end page:'))
  14.  
  15.      #创建文件夹
  16.      if not os.path.exists('images'):
  17.          os.mkdir('images')
  18.      #循环解析且下载指定页码中的图片数据
  19.      for page in range(page_start,page_end+1):
  20.          print('正在下载第%d页图片'%page)
  21.          new_url = format(url % page)
  22.          response = requests.get(url=new_url,headers=headers)
  23.  
  24.          #解析response中的图片链接
  25.          e = '<div class="thumb">.*?<img src="(.*?)".*?>.*?</div>'
  26.          pa = re.compile(e,re.S)
  27.          image_urls = pa.findall(response.text)
  28.           #循环下载该页码下所有的图片数据
  29.          for image_url in image_urls:
  30.              image_url = 'https:' + image_url
  31.              image_name = image_url.split('/')[-1]
  32.              image_path = 'images/'+image_name
  33.  
  34.              image_data = requests.get(url=image_url,headers=headers).content
  35.              with open(image_path,'wb') as fp:
  36.                  fp.write(image_data)

二.Xpath解析

测试页面数据

  1. <html lang="en">
  2. <head>
  3.     <meta charset="UTF-8" />
  4.     <title>测试bs4</title>
  5. </head>
  6. <body>
  7.     <div>
  8.         <p>百里守约</p>
  9.     </div>
  10.     <div class="song">
  11.         <p>李清照</p>
  12.         <p>王安石</p>
  13.         <p>苏轼</p>
  14.         <p>柳宗元</p>
  15.         <a href="http://www.song.com/" title="赵匡胤" target="_self">
  16.             <span>this is span</span>
  17.         宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱</a>
  18.         <a href="" class="du">总为浮云能蔽日,长安不见使人愁</a>
  19.         <img src="http://www.baidu.com/meinv.jpg" alt="" />
  20.     </div>
  21.     <div class="tang">
  22.         <ul>
  23.             <li><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>
  24.             <li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>
  25.             <li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>
  26.             <li><a href="http://www.sina.com" class="du">杜甫</a></li>
  27.             <li><a href="http://www.dudu.com" class="du">杜牧</a></li>
  28.             <li><b>杜小月</b></li>
  29.             <li><i>度蜜月</i></li>
  30.             <li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>
  31.         </ul>
  32.     </div>
  33. </body>
  34. </html>

常用xpath表达式回顾

  1. 属性定位：
  2.     #找到class属性值为song的div标签
  3.     //div[@class="song"]
  4. 层级&索引定位：
  5.     #找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的直系子标签a
  6.     //div[@class="tang"]/ul/li[2]/a
  7. 逻辑运算：
  8.     #找到href属性值为空且class属性值为du的a标签
  9.     //a[@href="" and @class="du"]
  10. 模糊匹配：
  11.     //div[contains(@class, "ng")]
  12.     //div[starts-with(@class, "ta")]
  13. 取文本：
  14.     # /表示获取某个标签下的文本内容
  15.     # //表示获取某个标签下的文本内容和所有子标签下的文本内容
  16.     //div[@class="song"]/p[1]/text()
  17.     //div[@class="tang"]//text()
  18. 取属性：
  19.     //div[@class="tang"]//li[2]/a/@href

代码中使用xpath表达式进行数据解析

  1. 1.下载：pip install lxml
  2. 2.导包：from lxml import etree
  3.  
  4. 3.将html文档或者xml文档转换成一个etree对象，然后调用对象中的方法查找指定的节点
  5.  
  6. 　　2.1 本地文件：tree = etree.parse(文件名)
  7.                 tree.xpath("xpath表达式")
  8.  
  9. 　　2.2 网络数据：tree = etree.HTML(网页内容字符串)
  10.                 tree.xpath("xpath表达式")
  • 安装xpath插件在浏览器中对xpath表达式进行验证：可以在插件中直接执行xpath表达式

    • 将xpath插件拖动到谷歌浏览器拓展程序（更多工具）中，安装成功

    • 启动和关闭插件 ctrl + shift + x

  • 项目需求：获取好段子中段子的内容和作者   http://www.haoduanzi.com

  1. from lxml import etree
  2. import requests
  3.  
  4. url='http://www.haoduanzi.com/category-10_2.html'
  5. headers = {
  6.         'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
  7.     }
  8. url_content=requests.get(url,headers=headers).text
  9. #使用xpath对url_conten进行解析
  10. #使用xpath解析从网络上获取的数据
  11. tree=etree.HTML(url_content)
  12. #解析获取当页所有段子的标题
  13. title_list=tree.xpath('//div[@class="log cate10 auth1"]/h3/a/text()')
  14.  
  15. ele_div_list=tree.xpath('//div[@class="log cate10 auth1"]')
  16.  
  17. text_list=[] #最终会存储12个段子的文本内容
  18. for ele in ele_div_list:
  19.     #段子的文本内容（是存放在list列表中）
  20.     text_list=ele.xpath('./div[@class="cont"]//text()')
  21.     #list列表中的文本内容全部提取到一个字符串中
  22.     text_str=str(text_list)
  23.     #字符串形式的文本内容防止到all_text列表中
  24.     text_list.append(text_str)
  25. print(title_list)
  26. print(text_list)

【重点】下载煎蛋网中的图片数据：http://jandan.net/ooxx

  1. import requests
  2. from lxml import etree
  3. from fake_useragent import UserAgent
  4. import base64
  5. import urllib.request
  6. url = 'http://jandan.net/ooxx'
  7. ua = UserAgent(verify_ssl=False,use_cache_server=False).random
  8. headers = {
  9.     'User-Agent':ua
  10. }
  11. page_text = requests.get(url=url,headers=headers).text
  12.  
  13. #查看页面源码：发现所有图片的src值都是一样的。
  14. #简单观察会发现每张图片加载都是通过jandan_load_img(this)这个js函数实现的。
  15. #在该函数后面还有一个class值为img-hash的标签，里面存储的是一组hash值，该值就是加密后的img地址
  16. #加密就是通过js函数实现的，所以分析js函数，获知加密方式，然后进行解密。
  17. #通过抓包工具抓取起始url的数据包，在数据包中全局搜索js函数名（jandan_load_img），然后分析该函数实现加密的方式。
  18. #在该js函数中发现有一个方法调用，该方法就是加密方式，对该方法进行搜索
  19. #搜索到的方法中会发现base64和md5等字样，md5是不可逆的所以优先考虑使用base64解密
  20. #print(page_text)
  21.  
  22. tree = etree.HTML(page_text)
  23. #在抓包工具的数据包响应对象对应的页面中进行xpath的编写，而不是在浏览器页面中。
  24. #获取了加密的图片url数据
  25. imgCode_list = tree.xpath('//span[@class="img-hash"]/text()')
  26. imgUrl_list = []
  27. for url in imgCode_list:
  28.     #base64.b64decode(url)为byte类型，需要转成str
  29.     img_url = 'http:'+base64.b64decode(url).decode()
  30.     imgUrl_list.append(img_url)
  31.  
  32. for url in imgUrl_list:
  33.     filePath = url.split('/')[-1]
  34.     urllib.request.urlretrieve(url=url,filename=filePath)
  35.     print(filePath+'下载成功')

三.BeautifulSoup解析

  • 环境安装
    1. - 需要将pip源设置为国内源，阿里源、豆瓣源、网易源等
    2.    - windows
    3.     （1）打开文件资源管理器(文件夹地址栏中)
    4.     （2）地址栏上面输入 %appdata%
    5.     （3）在这里面新建一个文件夹  pip
    6.     （4）在pip文件夹里面新建一个文件叫做  pip.ini ,内容写如下即可
    7.         [global]
    8.         timeout = 6000
    9.         index-url = https://mirrors.aliyun.com/pypi/simple/
    10.         trusted-host = mirrors.aliyun.com
    11.    - linux
    12.     （1）cd ~
    13.     （2）mkdir ~/.pip
    14.     （3）vi ~/.pip/pip.conf
    15.     （4）编辑内容，和windows一模一样
    16. - 需要安装：pip install bs4
    17.      bs4在使用时候需要一个第三方库，把这个库也安装一下
    18.      pip install lxml

    基础使用

    1. 使用流程：
    2.     - 导包：from bs4 import BeautifulSoup
    3.     - 使用方式：可以将一个html文档，转化为BeautifulSoup对象，然后通过对象的方法或者属性去查找指定的节点内容
    4.         （1）转化本地文件：
    5.              - soup = BeautifulSoup(open('本地文件'), 'lxml')
    6.         （2）转化网络文件：
    7.              - soup = BeautifulSoup('字符串类型或者字节类型', 'lxml')
    8.         （3）打印soup对象显示内容为html文件中的内容
    9.  
    10. 基础巩固：
    11.     （1）根据标签名查找
    12.         - soup.a   只能找到第一个符合要求的标签
    13.     （2）获取属性
    14.         - soup.a.attrs  获取a所有的属性和属性值，返回一个字典
    15.         - soup.a.attrs['href']   获取href属性
    16.         - soup.a['href']   也可简写为这种形式
    17.     （3）获取内容
    18.         - soup.a.string
    19.         - soup.a.text
    20.         - soup.a.get_text()
    21.        【注意】如果标签还有标签，那么string获取到的结果为None，而其它两个，可以获取文本内容
    22.     （4）find：找到第一个符合要求的标签
    23.         - soup.find('a')  找到第一个符合要求的
    24.         - soup.find('a', title="xxx")
    25.         - soup.find('a', alt="xxx")
    26.         - soup.find('a', class_="xxx")
    27.         - soup.find('a', id="xxx")
    28.     （5）find_all：找到所有符合要求的标签
    29.         - soup.find_all('a')
    30.         - soup.find_all(['a','b']) 找到所有的a和b标签
    31.         - soup.find_all('a', limit=2)  限制前两个
    32.     （6）根据选择器选择指定的内容
    33.                select:soup.select('#feng')
    34.         - 常见的选择器：标签选择器(a)、类选择器(.)、id选择器(#)、层级选择器
    35.             - 层级选择器：
    36.                 div .dudu #lala .meme .xixi  下面好多级
    37.                 div > p > a > .lala          只能是下面一级
    38.         【注意】select选择器返回永远是列表，需要通过下标提取指定的对象

    需求：使用bs4实现将诗词名句网站中三国演义小说的每一章的内容爬去到本地磁盘进行存储   http://www.shicimingju.com/book/sanguoyanyi.html

    1. #!/usr/bin/env python
    2. # -*- coding:utf-8 -*-
    3. import requests
    4. from bs4 import BeautifulSoup
    5.  
    6. headers={
    7.          'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    8.      }
    9. def parse_content(url):
    10.     #获取标题正文页数据
    11.     page_text = requests.get(url,headers=headers).text
    12.     soup = BeautifulSoup(page_text,'lxml')
    13.     #解析获得标签
    14.     ele = soup.find('div',class_='chapter_content')
    15.     content = ele.text #获取标签中的数据值
    16.     return content
    17.  
    18. if __name__ == "__main__":
    19.      url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
    20.      reponse = requests.get(url=url,headers=headers)
    21.      page_text = reponse.text
    22.  
    23.      #创建soup对象
    24.      soup = BeautifulSoup(page_text,'lxml')
    25.      #解析数据
    26.      a_eles = soup.select('.book-mulu > ul > li > a')
    27.      print(a_eles)
    28.      cap = 1
    29.      for ele in a_eles:
    30.          print('开始下载第%d章节'%cap)
    31.          cap+=1
    32.          title = ele.string
    33.          content_url = 'http://www.shicimingju.com'+ele['href']
    34.          content = parse_content(content_url)
    35.  
    36.          with open('./sanguo.txt','w') as fp:
    37.              fp.write(title+":"+content+'\n\n\n\n\n')
    38.              print('结束下载第%d章节'%cap)

python网络爬虫数据中的三种数据解析方式的更多相关文章

  1. Android中的三种XML解析方式

    在Android中提供了三种解析XML的方式:SAX(Simple API XML),DOM(Document Objrect Model),以及Android推荐的Pull解析方式.下面就对三种解析 ...

  2. Hibernate中的三种数据状态

    Hibernate中的三种数据状态(临时.持久.游离) 1.临时态(瞬时态) 不存在于session中,也不存在于数据库中的数据,被称为临时态. 比如:刚刚使用new关键字创建出的对象. 2.持久态 ...

  3. 浅谈Hibernate中的三种数据状态

    Hibernate中的三种数据状态:临时.持久.游离 1.临时态(瞬时态) 不存在于session中,也不存在于数据库中的数据,被称为临时态. 数据库中没有数据与之对应,超过作用域会被JVM垃圾回收器 ...

  4. JAVA中的四种JSON解析方式详解

    JAVA中的四种JSON解析方式详解 我们在日常开发中少不了和JSON数据打交道,那么我们来看看JAVA中常用的JSON解析方式. 1.JSON官方 脱离框架使用 2.GSON 3.FastJSON ...

  5. Java三大框架之——Hibernate中的三种数据持久状态和缓存机制

    Hibernate中的三种状态   瞬时状态:刚创建的对象还没有被Session持久化.缓存中不存在这个对象的数据并且数据库中没有这个对象对应的数据为瞬时状态这个时候是没有OID. 持久状态:对象经过 ...

  6. .NET中的三种接口实现方式

    摘自:http://www.cnblogs.com/zhangronghua/archive/2009/11/25/1610713.html 一般来说.NET提供了三种不同的接口实现方式,分别为隐式接 ...

  7. Python网络爬虫与信息提取（三）—— Re模块

    regular expression / regex / RE 正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配.Python 自1.5版本起增加了re 模块,它提供 ...

  8. python网络爬虫（6）爬取数据静态

    爬取静态数据并存储json import requests import chardet from bs4 import BeautifulSoup import json user_agent='M ...

  9. python——remove，del，pop三种删除元素方式的区别

    记性不好,整理出来以作保存 1.remove ①直接删除元素,remove(obj),顺序删除第一个遇到的,所以想要全部删除 ,需要遍历 aList = [123, 'xyz', 'zara', 'a ...

随机推荐

  1. Python的import module与form module import的区别

    import moduleName 如果要使用moduleName模块中的方法时,是moduleName.method(点方法), 比如moduleName中有个方法是set,则使用的是moduleN ...

  2. 统计nginx日志里每五分钟的访问量

    #!/usr/bin/env python # -*- coding:utf-8 -*- # Author:Random_lee import time import os import re cla ...

  3. Python运算符(Python学习笔记03）

  4. [ZJOI2008]杀蚂蚁antbuster

    [ZJOI2008]杀蚂蚁antbuster 题目 最近,佳佳迷上了一款好玩的小游戏:antbuster.游戏规则非常简单:在一张地图上,左上角是蚂蚁窝,右下角是蛋糕,蚂蚁会源源不断地从窝里爬出来,试 ...

  5. 自定义EL表达式，将对象转成json格式，关键代码

    做javaweb开发的最常用的一个东西el表达式,这个东西是个很好用的东西,但有些时候我们处理复杂的字符串操作,就有些相形见绌了,这个时候就需要用自定义的方法去实现更多简洁方便的事情. 下面自定义一个 ...

  6. 又见GCD

    Problem Description 有三个正整数a,b,c(0<a,b,c<10^6),其中c不等于b.若a和c的最大公约数为b,现已知a和b,求满足条件的最小的c.   Input ...

  7. 交友app

    编辑注记:这是由译者 han_qi 翻译纽约客的一篇文章,从女性的角度描写了交友产品的用户体验及需求,值得广大产品经理深入研究,文章略长,但值得深读.原文<Overwhelmed and Cre ...

  8. PHP array_merge_recursive()

    定义和用法 array_merge_recursive() 函数与 array_merge()函数 一样,将一个或多个数组的元素的合并起来,一个数组中的值附加在前一个数组的后面.并返回作为结果的数组. ...

  9. java web项目优化记录：优化考试系统

    考试系统在进行压力測试时发现,并发量高之后出现了button无反应.试题答案不能写到数据库的问题,于是针对这些核心问题,进行了优化. 数据库方面: Select语句:Select * from TEB ...

  10. 【Android实战】记录自学自己定义GifView过程，能同一时候支持gif和其它图片！【有用篇】

    之前写了一篇博客.<[Android实战]记录自学自己定义GifView过程,具体解释属性那些事! [学习篇]> 关于自己定义GifView的,具体解说了学习过程及遇到的一些类的解释,然后 ...