一.正解解析

  1.    单字符：
  2.         . : 除换行以外所有字符
  3.         [] ：[aoe] [a-w] 匹配集合中任意一个字符
  4.         \d ：数字  [0-9]
  5.         \D : 非数字
  6.         \w ：数字、字母、下划线、中文
  7.         \W : 非\w
  8.         \s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。
  9.         \S : 非空白
  10.     数量修饰：
  11.         * : 任意多次  >=0
  12.         + : 至少1次   >=1
  13.         ? : 可有可无  0次或者1次
  14.         {m} ：固定m次 hello{3,}
  15.         {m,} ：至少m次
  16.         {m,n} ：m-n次
  17.     边界：
  18.         $ : 以某某结尾
  19.         ^ : 以某某开头
  20.     分组：
  21.         (ab)
  22.     贪婪模式： .*
  23.     非贪婪（惰性）模式： .*?
  24.  
  25.     re.I : 忽略大小写
  26.     re.M ：多行匹配
  27.     re.S ：单行匹配
  28.  
  29.     re.sub(正则表达式, 替换内容, 字符串)

常用正则表达式

二.Xpath解析

  1. <html lang="en">
  2. <head>
  3.     <meta charset="UTF-8" />
  4.     <title>测试bs4</title>
  5. </head>
  6. <body>
  7.     <div>
  8.         <p>百里守约</p>
  9.     </div>
  10.     <div class="song">
  11.         <p>李清照</p>
  12.         <p>王安石</p>
  13.         <p>苏轼</p>
  14.         <p>柳宗元</p>
  15.         <a href="http://www.song.com/" title="赵匡胤" target="_self">
  16.             <span>this is span</span>
  17.         宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱</a>
  18.         <a href="" class="du">总为浮云能蔽日,长安不见使人愁</a>
  19.         <img src="http://www.baidu.com/meinv.jpg" alt="" />
  20.     </div>
  21.     <div class="tang">
  22.         <ul>
  23.             <li><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>
  24.             <li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>
  25.             <li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>
  26.             <li><a href="http://www.sina.com" class="du">杜甫</a></li>
  27.             <li><a href="http://www.dudu.com" class="du">杜牧</a></li>
  28.             <li><b>杜小月</b></li>
  29.             <li><i>度蜜月</i></li>
  30.             <li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>
  31.         </ul>
  32.     </div>
  33. </body>
  34. </html>

测试页面数据

  1. 属性定位：
  2.     #找到class属性值为song的div标签
  3.     //div[@class="song"]
  4. 层级&索引定位：
  5.     #找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的直系子标签a
  6.     //div[@class="tang"]/ul/li[2]/a
  7. 逻辑运算：
  8.     #找到href属性值为空且class属性值为du的a标签
  9.     //a[@href="" and @class="du"]
  10. 模糊匹配：
  11.     //div[contains(@class, "ng")]
  12.     //div[starts-with(@class, "ta")]
  13. 取文本：
  14.     # /表示获取某个标签下的文本内容
  15.     # //表示获取某个标签下的文本内容和所有子标签下的文本内容
  16.     //div[@class="song"]/p[1]/text()
  17.     //div[@class="tang"]//text()
  18. 取属性：
  19.     //div[@class="tang"]//li[2]/a/@href

常用xpath表达式

  1. 属性定位：
  2.     #找到class属性值为song的div标签
  3.     //div[@class="song"]
  4. 层级&索引定位：
  5.     #找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的直系子标签a
  6.     //div[@class="tang"]/ul/li[2]/a
  7. 逻辑运算：
  8.     #找到href属性值为空且class属性值为du的a标签
  9.     //a[@href="" and @class="du"]
  10. 模糊匹配：
  11.     //div[contains(@class, "ng")]
  12.     //div[starts-with(@class, "ta")]
  13. 取文本：
  14.     # /表示获取某个标签下的文本内容
  15.     # //表示获取某个标签下的文本内容和所有子标签下的文本内容
  16.     //div[@class="song"]/p[1]/text()
  17.     //div[@class="tang"]//text()
  18. 取属性：
  19.     //div[@class="tang"]//li[2]/a/@href
  20.  
  21.     代码中使用xpath表达式进行数据解析：
  22.  
  23. 1.下载：pip install lxml
  24. 2.导包：from lxml import etree
  25.  
  26. 3.将html文档或者xml文档转换成一个etree对象，然后调用对象中的方法查找指定的节点
  27.  
  28. 　　2.1 本地文件：tree = etree.parse(文件名)
  29.                 tree.xpath("xpath表达式")
  30.  
  31. 　　2.2 网络数据：tree = etree.HTML(网页内容字符串)
  32.                 tree.xpath("xpath表达式")

属性定位

需求：获取好段子中段子的内容和作者   http://www.haoduanzi.com

  1. from lxml import etree
  2. import requests
  3.  
  4. url='http://www.haoduanzi.com/category-10_2.html'
  5. headers = {
  6.         'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
  7.     }
  8. url_content=requests.get(url,headers=headers).text
  9. #使用xpath对url_conten进行解析
  10. #使用xpath解析从网络上获取的数据
  11. tree=etree.HTML(url_content)
  12. #解析获取当页所有段子的标题
  13. title_list=tree.xpath('//div[@class="log cate10 auth1"]/h3/a/text()')
  14.  
  15. ele_div_list=tree.xpath('//div[@class="log cate10 auth1"]')
  16.  
  17. text_list=[] #最终会存储12个段子的文本内容
  18. for ele in ele_div_list:
  19.     #段子的文本内容（是存放在list列表中）
  20.     text_list=ele.xpath('./div[@class="cont"]//text()')
  21.     #list列表中的文本内容全部提取到一个字符串中
  22.     text_str=str(text_list)
  23.     #字符串形式的文本内容防止到all_text列表中
  24.     text_list.append(text_str)
  25. print(title_list)
  26. print(text_list)

【重点】下载煎蛋网中的图片数据：http://jandan.net/ooxx

  1. import requests
  2. from lxml import etree
  3. from fake_useragent import UserAgent
  4. import base64
  5. import urllib.request
  6. url = 'http://jandan.net/ooxx'
  7. ua = UserAgent(verify_ssl=False,use_cache_server=False).random
  8. headers = {
  9.     'User-Agent':ua
  10. }
  11. page_text = requests.get(url=url,headers=headers).text
  12.  
  13. #查看页面源码：发现所有图片的src值都是一样的。
  14. #简单观察会发现每张图片加载都是通过jandan_load_img(this)这个js函数实现的。
  15. #在该函数后面还有一个class值为img-hash的标签，里面存储的是一组hash值，该值就是加密后的img地址
  16. #加密就是通过js函数实现的，所以分析js函数，获知加密方式，然后进行解密。
  17. #通过抓包工具抓取起始url的数据包，在数据包中全局搜索js函数名（jandan_load_img），然后分析该函数实现加密的方式。
  18. #在该js函数中发现有一个方法调用，该方法就是加密方式，对该方法进行搜索
  19. #搜索到的方法中会发现base64和md5等字样，md5是不可逆的所以优先考虑使用base64解密
  20. #print(page_text)
  21.  
  22. tree = etree.HTML(page_text)
  23. #在抓包工具的数据包响应对象对应的页面中进行xpath的编写，而不是在浏览器页面中。
  24. #获取了加密的图片url数据
  25. imgCode_list = tree.xpath('//span[@class="img-hash"]/text()')
  26. imgUrl_list = []
  27. for url in imgCode_list:
  28.     #base64.b64decode(url)为byte类型，需要转成str
  29.     img_url = 'http:'+base64.b64decode(url).decode()
  30.     imgUrl_list.append(img_url)
  31.  
  32. for url in imgUrl_list:
  33.     filePath = url.split('/')[-1]
  34.     urllib.request.urlretrieve(url=url,filename=filePath)
  35.     print(filePath+'下载成功')

Python网络爬虫-xpath模块的更多相关文章

  1. Python网络爬虫-requests模块

    requests模块 requests模块是python中原生的基于网络请求的模块,其主要作用是用来模拟浏览器发起请求.功能强大,用法简洁高效.在爬虫领域中占据着半壁江山的地位. 如何使用reques ...

  2. python 网络爬虫requests模块

    一.requests模块 requests模块是python中原生的基于网络请求的模块,其主要作用是用来模拟浏览器发起请求.功能强大,用法简洁高效. 1.1 模块介绍及请求过程 requests模块模 ...

  3. Python网络爬虫-requests模块(II)

    有些时候,我们在使用爬虫程序去爬取一些用户相关信息的数据(爬取张三“人人网”个人主页数据)时,如果使用之前requests模块常规操作时,往往达不到我们想要的目的,例如: #!/usr/bin/env ...

  4. 06 Python网络爬虫requets模块高级用法

    一. 基于requests模块的cookie操作 - cookie概念: 当用户通过浏览器访问一个域名的时候,访问的web服务器会给客户端发送数据,以保持web服务器与客户端之间的状态保持,这些数据就 ...

  5. 【python网络爬虫】之requests相关模块

    python网络爬虫的学习第一步 [python网络爬虫]之0 爬虫与反扒 [python网络爬虫]之一 简单介绍 [python网络爬虫]之二 python uillib库 [python网络爬虫] ...

  6. Python 网络爬虫干货总结

    Python 网络爬虫干货总结 爬取 对于爬取来说,我们需要学会使用不同的方法来应对不同情景下的数据抓取任务. 爬取的目标绝大多数情况下要么是网页,要么是 App,所以这里就分为这两个大类别来进行了介 ...

  7. Python网络爬虫之Scrapy框架（CrawlSpider）

    目录 Python网络爬虫之Scrapy框架(CrawlSpider) CrawlSpider使用 爬取糗事百科糗图板块的所有页码数据 Python网络爬虫之Scrapy框架(CrawlSpider) ...

  8. python网络爬虫之解析网页的正则表达式(爬取4k动漫图片)[三]

    前言 hello,大家好 本章可是一个重中之重,因为我们今天是要爬取一个图片而不是一个网页或是一个json 所以我们也就不用用到selenium模块了,当然有兴趣的同学也一样可以使用selenium去 ...

  9. python网络爬虫之解析网页的BeautifulSoup(爬取电影图片)[三]

    目录 前言 一.BeautifulSoup的基本语法 二.爬取网页图片 扩展学习 后记 前言 本章同样是解析一个网页的结构信息 在上章内容中(python网络爬虫之解析网页的正则表达式(爬取4k动漫图 ...

随机推荐

  1. 快速切题 poj1068

    Parencodings Time Limit: 1000MS   Memory Limit: 10000K Total Submissions: 19716   Accepted: 11910 De ...

  2. Vue SSR的渲染性能

    一.前言 前端技术年年有新宠,Vue.js 2.0以其轻量级.渐进式.简洁的语法在MVVM框架中脱颖而出,一经推出便很受业界青睐. 为了提高首屏渲染速度 缓存+直出 是必不可少的.在Vue 1× 时代 ...

  3. Python Django 前后端数据交互 之 HttpRequest、HttpResponse、render、redirect

    在使用三神装的时候,首先当然是得要导入它们: from django.shortcuts import HttpResponse, render, redirect   一.HttpRequest捕获 ...

  4. ReentrantReadWriteLock——读读共享（一）

    多个线程可以同时读,读读是异步的.非互斥的 1.Service.java(封装的方法,供线程A和B访问) package ReentrantReadWriteLock; import java.uti ...

  5. 第一个dubbo+zookeeper项目例子

    公司项目要用这两个东西,于是打算学习它. 首先我的理解dubbo是什么?zookeeper是什么?为什要这么搞. 项目分层: 传统的,mvc -->垂直架构(将模块抽取成单独项目,项目互相调用) ...

  6. MyEclipse怎么导入导出项目

    MyEclipse怎么导入导出项目 | 浏览:25271 | 更新:2012-06-06 17:48 1 2 3 4 5 6 7 分步阅读 MyEclipse,是一个十分优秀的功能强大的JavaEE的 ...

  7. input 文件上传

    <button class="blueButton fileinput-button" style="width:165px;" @click=" ...

  8. NBUT 1220 SPY 2010辽宁省赛

    Time limit  1000 ms Memory limit  131072 kB The National Intelligence Council of X Nation receives a ...

  9. 【linux】wifi不能使用的问题

    Worked solution (Requirements: kernel >=4.11) : Download driver directory from this repo:https:// ...

  10. JSON-java

    import net.sf.json.JSONArray; import net.sf.json.JSONObject; JSONObject jsonObject1 = new JSONObject ...