20190724-Python网络数据采集/第 2 章 复杂HTML解析-导航树/正则表达式

1. 导航树

经典的HTML树状结构

直接看下面的代码示例：（注意目标网页的标签大小写等细节，易出bug）

 from urllib.request import urlopen
 from bs4 import BeautifulSoup

 html = urlopen("http://www.pythonscraping.com/pages/page3.html")
 bsobj = BeautifulSoup(html)

 print(bsobj)

 # 打印giftlist表格中所有产品的数据行，注意代码中标签的大小写格式
 for child in bsobj.find("table", {"id":"giftList"}).children:

 # 打印所有的后代标签
 for child in bsobj.find("table", {"id":"giftList"}).descendants:
     print(child)

 # 处理兄弟标签，可以选择表格中除标题（标签本身）外的所有行，或者所有兄弟标签
 for sibling in bsobj.find("table",{"id":"giftList"}).tr.next_siblings:
     print(sibling)

 # 处理父标签,
 # 1)选择图片标签src=".../";
 # 2)选择图片标签的父标签（在示例中是<td>标签）;
 # 3)选择<td>标签的前一个兄弟标签previous_sibling(在示例中是包含美元价格的<td>标签)；
 # 4)选择标签中的文字，“$15.00”.
 print(bsobj.find("img",{"src":".../img/gifts/img1.jpg"
                          }).parent.previous_sibing.get_text())

核心知识点，4个函数：

.children，处理子标签；

.descendants，处理后代标签；

.next_siblings，处理兄弟标签，尤其适用于处理表格，可以通过该函数选择表格中除标题行外的所有行。（1.对象不能把自己作为兄弟标签；2.该函数只调用后面的兄弟标签）

.parent，处理父标签，应用相对较少。

2. 正则表达式

正则表达式，识别 正则字符串。上手快，记住/懂常用规则/勤查文档即可，运行很快，比如在要求快速浏览大文档查，以查找像电话号码或者邮箱地址等类似的字符串时，非常方便。

3. 正则表达式和BeautifulSoup

写正则表达式前，先写一个步骤列表描述出目标字符串结构。
正则表达式可以作为BeautifulSoup语句的任意一个参数。

 from urllib.request import urlopen
 from bs4 import BeautifulSoup
 import re

 html = urlopen("http://www.pythonscraping.com/pages/page3.html")
 bsobj = BeautifulSoup(html,"lxml")

 # 源网页图片路径代码 <img src="../img/gifts/img1.jpg">
 images = bsobj.findAll("img",{"src":re.compile("\.\.\/img\/gifts/img.*\.jpg")})
 for image in images:
     print(image["src"])

打印结果：

../img/gifts/img1.jpg
../img/gifts/img2.jpg
../img/gifts/img3.jpg
../img/gifts/img4.jpg
../img/gifts/img6.jpg

还有获取属性操作。。。