豆瓣读书爬虫（requests + re）

　　

　　前面整理了一些爬虫的内容，今天写一个小小的栗子，内容不深，大佬请忽略。内容包括对豆瓣读书网站中的书籍的基本信息进行爬取，并整理，便于我们快速了解每本书的中心。

一、爬取信息

　　每当爬取某个网页的信息时，首先就是要进入到网页中，看看有没有什么爬取过程中的限制，可以查看网站的robots协议。就是在原网址的后面加上"/robots.txt"。本网站中得到的结果是：

User-agent: *
Disallow: /subject_search
Disallow: /search
Disallow: /new_subject
Disallow: /service/iframe
Disallow: /j/
Sitemap: http://www.douban.com/sitemap_index.xml
Sitemap: http://www.douban.com/sitemap_updated_index.xml
 
User-agent: Wandoujia Spider
Disallow: /

　　根据上面的协议可以看到，并没有禁止一些普通的爬虫，就像我们现在这样，仅仅爬取一点点的东西来供自己使用。那么，我们就可以使用之前文章中提到的结构来实现这个爬虫，首先导入函数库，然后套用框架，传入地址，返回页面内容。这点内容在这篇博客中写到了，这里就不详细解释了。到此，网页的爬取就结束了，接下来就剩下从这些东西中拿到我们想要的内容。

 import requests
 
 url = "https://book.douban.com/"
 def getHtmlText(url):
     headers = {
         'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
     }
     try:
         response = requests.get(url, headers=headers)
         response.raise_for_status()
         response.encoding = response.apparent_encoding
         return response.text
     except:
         print("Fail")
         return
 
 html = getHtmlText(url)

二、信息处理

　　上面提取的的网页代码包括很多东西，像展示出来的页面的各种框架等等，这些对我们来说都是没有用的，而且通过正则来提取信息，如果在整个页面中直接提取的话，不免会出现一些巧合，使得没有提取到真正想要的内容，而且pattern一样的其他内容，所以，首先，把要把关键的块先拿出来，再一点一点的取出具体信息。

 import re
 
 re_books = re.compile('<ul class="list-col list-col5 list-express slide-item">(.*?)</ul>', re.S)  # re.S也在正则表达式的博客中写到了，是为了让“.”可以匹配换行符
 content = re_books.search(html)

　　通过检查网页源代码，找到可以取出主要信息的匹配规则，将中间的内容全部获得。剩下的就是通过正则来提取每本书的每项信息。这个在于自己观察他们的规律，寻找匹配的规则。信息的标签不止一个，最后选择了使用pandas来整理数据，pandas的DataFrame数据类型可以很方便的存储二维结构，而且pandas有将数据之间存储成excel格式的方法（DataFrame.to_excel()）。

 import pandas as pd  # 这是大部分人的习惯，pandas比较长，而且在数据处理中经常使用，所以用pd两个字母来代表
 
 # 首先，先创建一个DataFrame，之后遍历每本书籍的信息，存成DataFrame格式拼接在他的后面就可以了
 data = pd.DataFrame(columns=['title', 'author', 'abstract', 'href', 'publisher'])
 
 re_book = re.compile('<li class="">(.*?)</li>', re.S)
 bookList = re_book.findall(content[0])  # findall找到所有的书籍信息，返回为列表格式
 for book in bookList:
     count = 0
     count += 1
     href = re.search('href="(.*?)"', book)  # .*? 是指以非贪婪的模式匹配，()是分组，通过group方便取出其中的信息
     href = href.group(1)
     title = re.search('<h4 class="title">(.*?)</h4>', book, re.S)
     title = title.group(1).split()[0]
     author = re.search('<span class="author">(.*?)</span>', book, re.S)
     author = ' '.join(author.group(1).split())
     publisher = re.search('<span class="publisher">(.*?)</span>', book, re.S)
     publisher = ' '.join(publisher.group(1).split())
     abstract = re.search('<p class="abstract">(.*?)</p>', book, re.S)
     abstract = ' '.join(abstract.group(1).split())
     abstract = re.sub('【内容简介】', '', abstract)  # 慢慢调试中发现，取得的信息不太好看，其中在第一本数的主要内容开头有这么几个字，就用re的sub方法替换掉了
     new = pd.DataFrame({"title":title, "author":author, "abstract":abstract, "href":href, "publisher":publisher}, index=[""])
     data = data.append(new, ignore_index=True)
 data.to_excel('bookInfo.xls', encoding='utf-8')

　　我们可以看一下得到的结果，pandas直接输出的结果也很规整，这里存储到了excel中，起初存到csv文件中，但是乱码了，后面没多想就换成了excel，稍后我再去看看怎么回事，或者有读者清楚地，可以教教博主。

　　图中有些东西没有展示出来，但是大家都懂对吧。可以自己试一试。当然这个爬虫很浅，仅得到这点的数据，后面的内容就交给你们了，可以试着往深里点一点，原理都是大同小异的，学习爬虫在平时就要随时发现可以挖掘的东西，慢慢尝试。