Python爬虫之利用BeautifulSoup爬取豆瓣小说（二）——回车分段打印小说信息

在上一篇文章中，我主要是设置了代理IP，虽然得到了相关的信息，但是打印出来的信息量有点多，要知道每打印一页，15个小说的信息全部会显示而过，有时因为屏幕太小，无法显示全所有的小说信息，那么，在这篇文章中，我主要想通过设置回车来控制每一条小说信息的输出，当我按下回车时，会显示下一条小说的信息，按“Q”时，会退出程序，同时，这个方法还会根据包含小说信息的页面数量来决定是否加载新的一页。

首先，我们导入一些模块，定义一个类，初始化方法，定义一些变量：

self.Novels里存放的是小说信息的变量，每一个元素是每一页的小说信息们

self.load决定程序是否继续运行的变量

 #-*-coding:utf-8-*-
 import urllib2
 from bs4 import BeautifulSoup
 
 class dbxs:
 
     def __init__(self):
         self.pageIndex = 0
         self.Novels = []
         self.load = False

然后，我们获得html页面的内容，在这里，我们为了能够得到信息，而不让豆瓣服务器查封我们的IP，我们设置了请求的头部信息headers和代理IP。

     def getPage(self, pageIndex):
         #设置代理IP
         enable_proxy = True
         proxy_handler = urllib2.ProxyHandler({'Http': '116.30.251.210:8118'})
         null_proxy_handler = urllib2.ProxyHandler({})
         if enable_proxy:
             opener = urllib2.build_opener(proxy_handler)
         else:
             opener = urllib2.build_opener(null_proxy_handler)
         urllib2.install_opener(opener)
 
         #设置headers，模拟浏览器登录
         try:
             url = 'https://www.douban.com/tag/%E5%B0%8F%E8%AF%B4/book' +'?start=' + str(pageIndex)
             my_headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:55.0)'}
             request =   urllib2.Request(url, headers = my_headers)
             response = urllib2.urlopen(request)
             return response.read()
19　　　　  except urllib2.URLError, e:
             if hasattr(e, "code"):
                 print e.code
             if hasattr(e, "reason"):
                 print e.reason
                 return None 

我们获得的是html源码，源码里有包含我们想要的元素，但是为了方便抓取数据，利用BeautifulSoup解析文档，这里我们用的解析器是html.parser。

这里的pageNovels是一个列表，存放的是每一页的所有小说信息，当某一小说信息没有rate一项时，这一条小说信息没有rates。

     def getPageItems(self, pageIndex):
         pageCode = self.getPage(pageIndex)
         soup = BeautifulSoup(pageCode, 'html.parser')
         contents = soup.find_all('dd')
         pageNovels = []
         if contents:
             for item in contents:
                 title = item.find(class_ = 'title').string
                 info = item.find(class_ = 'desc').string.strip()
                 rate = item.find(class_ = 'rating_nums')  #这里不能加string，如果rate不存在，那么程序会报错：NoneType没有.string属性
                 if rate:
                     rates = rate.string
                     pageNovels.append([title, info, rates])
                 else:
                     pageNovels.append([title, info])
             return pageNovels
         else:
             pageNovels.append('end')
             return pageNovels        

需要定义一个加载页，当self.Novels里的页数小于2，则程序加载下一页

     def loadPage(self):
         if self.load == True:
             if len(self.Novels) < 2:
                 pageNovels = self.getPageItems(self.pageIndex)
                 if pageNovels:
                     self.Novels.append(pageNovels)
                     self.pageIndex += 15    

为了获得每一页的每一条小说信息，我们需要定义一个getOneContent的方法

     def getOneContent(self, pageNovels, page):
         for item in pageNovels:
             input = raw_input()
             self.loadPage()
             if input == "Q":
                 self.load = False
                 print u"已退出查看"
                 return None
             #if item[2]:      #这里不能用if itme[2]，当item[2]不存在时，会报错
             if len(item) == 3:
                 print u"第%d页 %s\n%s\n评分：%s\n" %(page, item[0], item[1], item[2])
             else:
                 print u"第%d页 %s\n%s\n" %(page, item[0], item[1]) 

最后，我们得定义一个开始方法

     def start(self):
         print u"正在读取豆瓣小说信息，按回车查看新内容，Q退出"
         self.load = True
         self.loadPage()
         nowPage = 0
         while self.load:
             if len(self.Novels) > 0:
                 pageNovels = self.Novels[0]
                 nowPage += 1
                 del self.Novels[0]
                 self.getOneContent(pageNovels, nowPage)
                 if self.Novels[0] == ['end']:
                     self.load = False
                     print u'所有页面已加载完'

整理一下，最后的总代码：

 #-*-coding:utf-8-*-
 import urllib2
 from bs4 import BeautifulSoup
 import time
 import random
 
 class dbxs:
 
     def __init__(self):
         self.pageIndex = 0
         self.Novels = []
         self.load = False
 
     #获取html页面的内容
     def getPage(self, pageIndex):
         #设置代理ip
         enable_proxy = True
         proxy_handler = urllib2.ProxyHandler({'Http': '116.30.251.210:8118'})
         null_proxy_handler = urllib2.ProxyHandler({})
         if enable_proxy:
             opener = urllib2.build_opener(proxy_handler)
         else:
             opener = urllib2.build_opener(null_proxy_handler)
         urllib2.install_opener(opener)
         try:
             url = 'https://www.douban.com/tag/%E5%B0%8F%E8%AF%B4/book' + "?start=" + str(pageIndex)
             #设置请求头部信息，模拟浏览器的行为
             my_headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:55.0)'}
             request =   urllib2.Request(url, headers = my_headers)
             response = urllib2.urlopen(request)
             return response.read()
         except urllib2.URLError, e:
             if hasattr(e, "code"):
                 print e.code
             if hasattr(e, "reason"):
                 print e.reason
                 return None
 
     def getPageItems(self, pageIndex):
         pageCode = self.getPage(pageIndex)
         soup = BeautifulSoup(pageCode, 'html.parser')
         contents = soup.find_all('dd')
         pageNovels = []
         if contents:
             for item in contents:
                 title = item.find(class_ = 'title').string
                 info = item.find(class_ = 'desc').string.strip()
                 rate = item.find(class_ = 'rating_nums')  #这里不能加string，如果rate不存在，那么程序会报错：NoneType没有.string属性
                 if rate:
                     rates = rate.string
                     pageNovels.append([title, info, rates])
                 else:
                     pageNovels.append([title, info])
             return pageNovels
         else:
             pageNovels.append('end')
             return pageNovels
 
     def loadPage(self):
         if self.load == True:
             if len(self.Novels) < 2:
                 pageNovels = self.getPageItems(self.pageIndex)
                 if pageNovels:
                     self.Novels.append(pageNovels)
                     self.pageIndex += 15
 
     #打印每一个小说的信息
     def getOneContent(self, pageNovels, page):
         for item in pageNovels:
             input = raw_input()
             self.loadPage()
             if input == "Q":
                 self.load = False
                 print u"已退出查看"
                 return None
             #if item[2]:      #这里不能用if itme[2]，当item[2]不存在时，会报错
             if len(item) == 3:
                 print u"第%d页 %s\n%s\n评分：%s\n" %(page, item[0], item[1], item[2])
             else:
                 print u"第%d页 %s\n%s\n" %(page, item[0], item[1])            
 
     #创建一个开始方法
     def start(self):
         print u"正在读取豆瓣小说信息，按回车查看新内容，Q退出"
         self.load = True
         self.loadPage()
         nowPage = 0
         while self.load:
             if len(self.Novels) > 0:
                 pageNovels = self.Novels[0]
                 nowPage += 1
                 del self.Novels[0]
                 self.getOneContent(pageNovels, nowPage)
                 if self.Novels[0] == ['end']:
                     self.load = False
                     print u'所有页面已加载完'
 
 DBXS = dbxs()
 DBXS.start()

有必要解释一下self.Novels和PageNovels