Python 网页投票信息抓取

最近学习python，为了巩固一下学过的知识，花了半天（主要还是因为自己正则表达式不熟）写了个小脚本来抓取一个网站上的投票信息，排名后进行输出。

抓取的网站网址是http://www.mudidi.net/topic-yinghuhuodong.html。我先在网站首页点了个查看源码，发现并没有下面的投票部分信息，颇为不解，咨询了一个PHP大牛同学，原来那部分是一个嵌套页面，有另外一个地址http://www.mudidi.net//toupiao/vote3.asp?id=2，真是才疏学浅，自惭形愧啊。

找到真实地址后，就可以提取页面信息了：

 # 获取页面数据
 def getUrlRespHtml():
     url = 'http://www.mudidi.net//toupiao/vote3.asp?id=2'
     req = urllib2.Request(url)
     resp = urllib2.urlopen(req)
     respHtml = resp.read()
     # 由于存在汉字，将页面转码成utf-8
     respHtml = respHtml.decode('gbk').encode('utf-8')
     return respHtml

这里写了个函数，调用了urllib2这个库。最开始版本并没有转码这一步，但是结果会造成提取出的汉字都是乱码，查了好多资料，才知道需要转码，再次感叹才疏学浅，对网络编程真是没什么经验。

提取出网页信息后，就需要对信息进行处理。由于网页信息中我们需要的信息格式都是相同的，如下所示：

 <div class="tp">
 <form action="vote_pass.asp" method="post" name="add">
   <div align="center" style="white-space:now=rap; overflow:hidden;width:200px;font-size:13px;margin-top:0px;margin-bottom:10px;">安康山水 美哉瀛湖
       <label>
       <input type="hidden" name="id"  value="1"/>
       </label>
     </div>
     <div align="center" style="margin-top:0px;margin-bottom:10px;">NO1 作者:飞扬古</div>
     <div align="center" style="margin-top:0px;color:#990000; font-weight:bold; font-size:14px; font-family:'Times New Roman', Times, serif;margin-top:0px;margin-bottom:7px;">票数:23</div>
       <div align="center" style="">
        <input type="image" name="button" src="vote1.gif" />
         </div>
         </form>
 </div>

则需要写正则表达式匹配这一段落。我们需要的信息包括标语（如上所示的“安康山水 美哉瀛湖”）、ID（如上所示的NO1）、作者、票数。

我首先想到的是findall()函数，可以得到符合条件的列表，而且可以直接提取出我们需要的信息。可是无论我怎么写正则表达式都无法得到想要的结果。然后我就写了这么个正则表达式：“<form.*?</form>”，然后调用findall()函数，直接把所有的<form></form>段匹配了出来，得到了完整的格式（以上面的HTML代码为例）：

“<form action="vote_pass.asp" method="post" name="add">\r\n  <div align="center" style="white-space:now=rap; overflow:hidden;width:200px;font-size:13px;margin-top:0px;margin-bottom:10px;">安康山水 美哉瀛湖\r\n      <label>\r\n      <input type="hidden" name="id"  value=""/>\r\n      </label>\r\n    </div>\r\n\t<div align="center" style="margin-top:0px;margin-bottom:10px;">NO 作者:飞扬古</div>\r\n\t<div align="center" style="margin-top:0px;color:#990000; font-weight:bold; font-size:14px; font-family:\'Times New Roman\', Times, serif;margin-top:0px;margin-bottom:7px;">票数:</div>”。

将这一段改成正则表达式，我直接把我想要提取的地方(红色部分)改为(.*)，就可以得到想要的信息：

“<form action="vote_pass.asp" method="post" name="add">\r\n  <div align="center" style="white-space:now=rap; overflow:hidden;width:200px;font-size:13px;margin-top:0px;margin-bottom:10px;">(.*)\r\n      <label>\r\n      <input type="hidden" name="id"  value="(.*)"/>\r\n      </label>\r\n    </div>\r\n\t<div align="center" style="margin-top:0px;margin-bottom:10px;">NO(.*) 作者:(.*)</div>\r\n\t<div align="center" style="margin-top:0px;color:#990000; font-weight:bold; font-size:14px; font-family:\'Times New Roman\', Times, serif;margin-top:0px;margin-bottom:7px;">票数:(.*)</div>”。

将这个正则表达式调用re.compile()函数编译，然后调用re.findall()函数即可得到符合该格式的列表。代码如下：

 def getVoteLists(html):
     # 编译正则表达式模式
     pattern = re.compile('<form action="vote_pass.asp" method="post" name="add">\r\n  <div align="center" style="white-space:now=rap; overflow:hidden;width:200px;font-size:13px;margin-top:0px;margin-bottom:10px;">(.*)\r\n      <label>\r\n      <input type="hidden" name="id"  value="(.*)"/>\r\n      </label>\r\n    </div>\r\n\t<div align="center" style="margin-top:0px;margin-bottom:10px;">NO(.*) 作者:(.*)</div>\r\n\t<div align="center" style="margin-top:0px;color:#990000; font-weight:bold; font-size:14px; font-family:\'Times New Roman\', Times, serif;margin-top:0px;margin-bottom:7px;">票数:(.*)</div>')
     matchlist = re.findall(pattern, html)

     vlist = []
     # 将用户ID和票数由str型转换成int型，由于findall()函数得到的列表元素是元组不可改，因此需要转换成可修改的列表
     for item in matchlist:
         itemlist = list(item)
         itemlist[1] = int(itemlist[1])
         itemlist[4] = int(itemlist[4])
         vlist.append(itemlist)
     # 根据票数进行排序
     return sorted(vlist, key=lambda x:x[4], reverse=True)

使用re.findall()函数得到一个列表，列表中每个元素是一个元组，元组中包含标语、两个ID（一个HTML代码段中有两个ID变化）、作者、票数。我们将得到的结果根据票数进行排序。由于这些结果都是str类型，无法排序，需要将str转换成int类型，而元组中元素是不可改的，因此在函数中重新生成了个列表，将原列表中的元组改为列表，再对列表中的元素进行类型转换。转换完成后，调用sorted()函数根据票数进行排序。

最后，将结果输出前16项（随意定）。完整代码如下：

 #!/usr/bin/env python
 # -*- coding: UTF-8 -*-

 import urllib2
 import re

 # 获取页面数据
 def getUrlRespHtml():
     url = 'http://www.mudidi.net//toupiao/vote3.asp?id=2'
     req = urllib2.Request(url)
     resp = urllib2.urlopen(req)
     respHtml = resp.read()
     # 由于存在汉字，将页面转码成utf-8
     respHtml = respHtml.decode('gbk').encode('utf-8')
     return respHtml

 def getVoteLists(html):
     # 编译正则表达式模式
     pattern = re.compile('<form action="vote_pass.asp" method="post" name="add">\r\n  <div align="center" style="white-space:now=rap; overflow:hidden;width:200px;font-size:13px;margin-top:0px;margin-bottom:10px;">(.*)\r\n      <label>\r\n      <input type="hidden" name="id"  value="(.*)"/>\r\n      </label>\r\n    </div>\r\n\t<div align="center" style="margin-top:0px;margin-bottom:10px;">NO(.*) 作者:(.*)</div>\r\n\t<div align="center" style="margin-top:0px;color:#990000; font-weight:bold; font-size:14px; font-family:\'Times New Roman\', Times, serif;margin-top:0px;margin-bottom:7px;">票数:(.*)</div>')
     matchlist = re.findall(pattern, html)

     vlist = []
     # 将用户ID和票数由str型转换成int型，由于findall()函数得到的列表元素是元组不可改，因此需要转换成可修改的列表
     for item in matchlist:
         itemlist = list(item)
         itemlist[1] = int(itemlist[1])
         itemlist[4] = int(itemlist[4])
         vlist.append(itemlist)
     # 根据票数进行排序
     return sorted(vlist, key=lambda x:x[4], reverse=True)

 def main():
     print 'loading...'
     html = getUrlRespHtml()
     mList = getVoteLists(html)

     # 显示前16位
     print 'Rank\tID\tVoteNums\tAuthor\t\tContent'
     print '-' * 60
     for i in range(16):
         print '%d\t%d\t%d\t\t%s\t\t%s' % (i+1, mList[i][1], mList[i][4], mList[i][3], mList[i][0])

 if __name__ == '__main__':
     main()

这是对前一段时间学习Python的一个巩固练习。有什么更好更高效的方法欢迎留言讨论。