Python网络爬虫笔记（四）：使用selenium获取动态加载的内容

（一）  说明

上一篇只能下载一页的数据，第2、3、4....100页的数据没法获取，在上一篇的基础上修改了下，使用selenium去获取所有页的href属性值。

使用selenium去模拟浏览器有点麻烦，例如有300页就要点300次（按博客园这种一页20条，也就是6000条数据。要是几百万条，这个就得点好长时间了）

研究下有没有办法调用JS修改页面默认显示的数据条数（例如：博客园默认1页显示20条，改成默认显示1万条数据）。

（二）  完整代码

delayed.py的代码还是和之前一样。最好限速，不限速很容易被拒绝连接，而且也不道德。

 from selenium import webdriver
 from selenium.webdriver.support.ui import WebDriverWait
 from selenium.webdriver.support import expected_conditions
 from selenium.webdriver.common.by import By
 from selenium.webdriver.support.expected_conditions import StaleElementReferenceException
 import time
 import urllib.request as ure
 from delayed import WaitFor
 import lxml.html
 import os
 import docx
 #使用selenium获取所有随笔href属性的值，url只能传小类的，例如https://www.cnblogs.com/cate/python/
 def selenium_links(url):
     driver = webdriver.Chrome()
     driver.maximize_window()
     driver.get(url)
     #获取最大页数
     maxPage = driver.find_element_by_css_selector('#paging_block div.pager a:nth-last-of-type(2)').get_attribute('text')
     x=1
     url_list=[]
     #循环获取当前小类所有页面的href
     while x<=int(maxPage):
         time.sleep(1) #隐式 显式等待都尝试了，还是报错，只能等待1秒了(调试又正常运行)
         x +=1
         #等待 Next出现并返回 ,就是博客园翻到下一页的那个元素
         lastPage = WebDriverWait(driver, 30).until(expected_conditions.element_to_be_clickable((By.CSS_SELECTOR, '#paging_block div.pager a:last-child')))
         #等待元素出现并返回list，这里定位的是页面上的随笔
         html = WebDriverWait(driver, 30).until(expected_conditions.presence_of_all_elements_located((By.CSS_SELECTOR, 'a.titlelnk')))
         #迭代，将href属性的值添加到url_list
         for h in html:
             url_list.append(h.get_attribute('href'))
         lastPage.click()
     driver.quit()
     #以列表形式返回所有URL
     return url_list
 #传入包含url的列表
 def link_crawler(seed_url):
     html_list = []
     #下载crawl_queue中的所有网页
     waitFor = WaitFor(2)
     x =1
     while seed_url:
         print('第'+str(x)+'个')
         x+=1
         url = seed_url.pop()
         #下载限速
         waitFor.wait(url)
         html = download(url)
         html_list.append(html)
     return html_list
 #下载网页并返回
 def download(url,user_agent='FireDrich',num=2):
     print('下载:'+url)
     #设置用户代理
     headers = {'user_agent':user_agent}
     request = ure.Request(url,headers=headers)
     try:
         #下载网页
         html = ure.urlopen(request).read()
     except ure.URLError as e:
         print('下载失败'+e.reason)
         html=None
         if num>0:
             #遇到5XX错误时，递归调用自身重试下载，最多重复2次
             if hasattr(e,'code') and 500<=e.code<600:
                 return download(url,num-1)
     return html

 #将下载的网页写入Word文档
 def createWord(html):
     x = 0
     while html:
         url = html.pop()
         tree = lxml.html.fromstring(url)  # 解析HTML为统一的格式
         title = tree.xpath('//a[@id="cb_post_title_url"]')  # 获取标题
         the_file = tree.xpath('//div[@id="cnblogs_post_body"]/p')  # 获取正文内容
         pre = tree.xpath('//pre')  # 获取随笔代码部分（使用博客园自带插入代码功能插入的）
         img = tree.xpath('//div[@id="cnblogs_post_body"]/p/img/@src')  # 获取图片
         # 修改工作目录
         os.chdir('F:\Python\worm\data\博客园文件')
         try:
             # 创建一个空白新的Word文档
             doc = docx.Document()
             # 添加标题
             doc.add_heading(title[0].text_content(), 0)
         #有的设置成注册用户才能浏览的随笔，调用download函数时下载不到正确的网页，导致获取不到标题
         #title会是空列表，这里忽略这篇随笔,利用http.cookiejar模块应该可以解决这种问题，以后再看看这个模块了
         except IndexError as e:
             continue
         for i in the_file:
             # 将每一段的内容添加到Word文档（p标签的内容）
             doc.add_paragraph(i.text_content())
         # 将代码部分添加到文档中
         for p in pre:
             doc.add_paragraph(p.text_content())
         # 将图片添加到Word文档中
         for i in img:
             try:
                 ure.urlretrieve(i, '0.jpg')
                 doc.add_picture('0.jpg')
             except UnicodeEncodeError as e:
                 print('异常'+str(e))
                 pass
         # 截取标题的前8位作为Word文件名
         filename = title[0].text_content()[:8] + '.docx'
         # 保存Word文档
         # 如果文件名已经存在，将文件名设置为title[0].text_content()[:8]+ str(x).docx，否则将文件名设置为filename
         if str(filename) in os.listdir('F:\Python\worm\data\博客园文件'):
             doc.save(title[0].text_content()[:8] + str(x) + '.docx')
             x += 1
         else:
             doc.save(filename)
 #调用selenium_links获取所有url
 html = selenium_links('https://www.cnblogs.com/cate/ruby/')
 #调用link_crawler下载所有网页
 downHtml = link_crawler(html)
 #提取已经下载的网页数据到Word文档中
 createWord(downHtml)

（三）结果

下面这个异常是，有的随笔上传了微信公众号的图片（暂时不确定是全部这样，还是部分这样），解析这个的时候会出现编码错误，目前的处理是输出异常信息，跳过这张图片。