python 入门实践之网页数据抓取

这个不错。正好入门学习使用。

1、其中用到 feedparser：

技巧：使用 Universal Feed Parser 驾驭 RSS

http://www.ibm.com/developerworks/cn/xml/x-tipufp.html

请访问 feedparser.org，详细了解 Universal Feed Parser，其中还包括一些下载资料和文档。

feedparser 实际下载地址：

http://code.google.com/p/feedparser/downloads/list

2、另外，需要将文件加上 utf-8 的 bom 头，需要用到 python 写入十六进制字符：

http://linux.byexamples.com/archives/478/python-writing-binary-file/

python 写入十六进制字符

file.write("\x5F\x9D\x3E")

file.close()

3、因为要调试，文件的打开模式改成 w 方便一些。

1. import urllib
2. import sys
3. import re
4. from feedparser import _getCharacterEncoding as enc
5. class TagParser:
6. def __init__(self, value):
7. self.value = value
8. def get(self, start, end):
9. regx = re.compile(r'<' + start + r'.*?>.*</' + end + r'>')
10. return re.findall(regx, self.value)
11. if __name__ == "__main__":
12. baseurl = "http://data.book.163.com/book/section/000BAfLU/000BAfLU"
13. f = open("test_01.txt", "w")
14. f.write("\xef\xbb\xbf")
15. #    for ndx in range(0, 56):
16. for ndx in range(0, 1):
17. url = baseurl + str(ndx) + ".html"
18. print "get content from " + url
19. src = urllib.urlopen(url)
20. text = src.read()
21. f1= open("tmp_" + str(ndx) + ".txt", "w")
22. f1.write(text)
23. f1.close()
24. encoding = enc(src.headers, text)[0]
25. tp = TagParser(text)
26. title = tp.get('h1 class="f26s tC"', 'h1')
27. article = tp.get('p class="ti2em"', 'p')
28. t = re.sub(r'</.+>', '\n', title[0])
29. t = re.sub(r'<.+>', '\n', t)
30. data = t
31. c = ""
32. for p in article:
33. pt = re.sub(r'</p>', '\n', p)
34. c += pt
35. c = re.sub(r'<.+>', '\n', c)
36. data += c
37. data = data.decode(encoding)
38. f.write(data.encode('utf-8', 'ignore'))
39. f.close()