BeautifulSoup解析页面

beautiful soup是一个解析包，专门用来解析html语法的，lxml是一个解析器，用来分析以及定位内容的

.是class #是id

import requests
from bs4 import BeautifulSoup

html = requests.get('https://www.zygx8.com/forum.php')
soup = BeautifulSoup(html.text,'lxml')
tbody = soup.select('a font b')
print(tbody)

输出

然后我们可以看到返回的都有个a标签，beautifulsoup其实有个自带的

for t in tbody:
    print(t.text)

输出

键盘钩子

网络版cmd开发

Mycmd

这里选择器我们就用select，比如我们要获取title就直接soup.select('title')，通过tag逐层下找比如

soup.select('html head title')
soup.select('body a')

select_one只获取一个

这里我们来测试豆瓣

import requests
from bs4 import BeautifulSoup

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'

}
html = requests.get('https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4',headers=headers)
soup = BeautifulSoup(html.text,'lxml')
title = soup.select('.subject-list .subject-item .info h2 a')
for t in title:
    print(t.text.strip().replace('\n',''))

输出

G:\python3.8\python.exe "F:/python post/code/zygx8.py"

坏小孩 : 推理之王2

活着

白夜行

小王子

解忧杂货店

红楼梦

追风筝的人

百年孤独

房思琪的初恋乐园

长夜难明 : 推理之王3

嫌疑人X的献身

平凡的世界（全三部）

1984

月亮与六便士

霍乱时期的爱情

围城

云边有个小卖部

杀死一只知更鸟

局外人

烧纸

Process finished with exit code 0

我们再清洗下

print(t.text.strip().replace('\n','').replace(' ',''))

输出

G:\python3.8\python.exe "F:/python post/code/zygx8.py"

坏小孩:推理之王2

活着

白夜行

小王子

解忧杂货店

红楼梦

追风筝的人

百年孤独

房思琪的初恋乐园

长夜难明:推理之王3

嫌疑人X的献身

平凡的世界（全三部）

1984

月亮与六便士

霍乱时期的爱情

围城

云边有个小卖部

杀死一只知更鸟

局外人

烧纸