ulrlib案例-爬取百度贴吧

1.任务需求

百度贴吧有很多主题，每个主题下的网页存在很多分页。爬取不同的主题，并下载每个主题下的多页网页。

输入贴吧名称，下载相应贴吧的多页网页，设置最多下载50页。

2.分析网页

访问不同的百度贴吧时。尝试搜索多个贴吧，观察到浏览器的url中的kw为贴吧的名称。

因此，发送get请求时，设置不同的kw可以访问不同的贴吧。

同一主题的贴吧中，有分页，通过点击不同的分页，可以看出，url中的pn规律变化

　　第1页 pn = 0

　　第2页 pn=50

　　第3页 pn=100

据此规律可以爬取不同页数的网页。

3.代码实现

 from urllib import request,parse
 import time
 import random
 import os

 kw = input('请输入贴吧名称：')
 start = input('请输入起始页：')
 end = input('请输入结束页：')

 # 构建请求字符串
 qs = {
 　　'kw':kw
 }
 qs = parse.urlencode(qs)

 # 构建贴吧链接地址
 base_url = 'https://tieba.baidu.com/f?' + qs

 start = (int(start) - 1) * 50
 end = (int(end) - 1) * 50 + 1

 for pn in range(start,end,50):
 　　# pn 分页数字
 　　# 文件名
 　　fname = str((pn//50 + 1)) + '.html'
 　　fullurl = base_url + '&pn=' + str(pn)
 　　print(fullurl)
 　　response = request.urlopen(fullurl)
 　　data = response.read().decode('utf-8')

 　　# 自动创建目录
 　　path = './tieba/' + kw
 　　if not os.path.exists(path):
 　　os.makedirs(path)

 　　with open(os.path.join(path,fname),'w',encoding='utf-8') as f:
 　　　　f.write(data)

 　　# 加入请求间隔
 　　time.sleep(random.random() * 2)

4.注意事项

后面的加入随机请求间隔，防止请求过于频繁导致被封IP。