慕课爬虫实战 爬取百度百科Python词条相关1000个页面数据

http://www.imooc.com/learn/563

spider_main.py

 #!/usr/bin/python
 # coding=utf-8

 #from baike_spider import url_manager,html_downloader,html_parser,html_outputer
 import url_manager,html_downloader,html_parser,html_outputer

 class SpiderMain(object):
     """docstring for SpiderMain"""
     def __init__(self):
         self.urls = url_manager.UrlManager()
         self.downloader = html_downloader.HtmlDownloader()
         self.parser = html_parser.HtmlParser()
         self.outputer = html_outputer.HtmlOutputer()

     def craw(self,root_url):
         count = 1
         self.urls.add_new_url(root_url)
         #如果管理器中有url, 下载，解析，把解析出的url放入 管理器，有用内容放入 收集器
         while  self.urls.has_new_url():
             try:
                 new_url = self.urls.get_new_url()
                 print 'craw %d : %s' % (count, new_url)
                 html_cont = self.downloader.download(new_url)
                 new_urls, new_data = self.parser.parser(new_url, html_cont)
                 self.urls.add_new_urls(new_urls)
                 self.outputer.collect_data(new_data)

                 if count == 1000:
                     break
                 count = count + 1
             except:
                 print 'craw failed'
         self.outputer.output_html()

 if __name__ == "__main__":
     root_url = "http://baike.baidu.com/view/21087.htm"
     obj_spider = SpiderMain()
     obj_spider.craw(root_url)

url_manager.py

 #!/usr/bin/python
 # coding=utf-8

 class UrlManager(object):
     """docstring for UrlManager"""
     def __init__(self):
         self.new_urls = set()
         self.old_urls = set()

     def add_new_url(self, url):
         if url is None:
             return
         if url not in self.new_urls and url not in self.old_urls:
             self.new_urls.add(url)

     def add_new_urls(self, urls):
         if urls is None or len(urls) == 0:
             return
         for url in urls:
             self.add_new_url(url)

     def has_new_url(self):
         return len(self.new_urls) != 0

     def get_new_url(self):
         #pop, 从set中拿一个并移除
         new_url = self.new_urls.pop()
         self.old_urls.add(new_url)
         return new_url

html_downloader.py

 #!/usr/bin/python
 # coding=utf-8

 import urllib2

 class HtmlDownloader(object):
     """docstring for HtmlDownloader"""
     def __init__(self):
         pass

     def download(self, url):
         if url is None:
             return None

         response = urllib2.urlopen(url)
         #print response.getcode()

         if response.getcode() != 200:
             return None

         return response.read()

html_parser.py

 #!/usr/bin/python
 # coding=utf-8

 from bs4 import BeautifulSoup
 import re
 import urlparse

 class HtmlParser(object):
     """docstring for HtmlParser"""
     def __init__(self):
         pass

     def parser(self, page_url, html_cont):
         #print page_url
         if page_url is None or html_cont is None:
             return

         soup = BeautifulSoup(html_cont, 'html.parser', from_encoding = 'utf-8')
         new_urls = self._get_new_urls(page_url, soup)
         new_data = self._get_new_data(page_url, soup)
         return new_urls, new_data

     def _get_new_urls(self, page_url, soup):
         # /view/数字.htm
         # such as /view/123.htm
         new_urls = set()
         links = soup.find_all('a', href = re.compile(r"/view/\d+\.htm"))
         for link in links:
             new_url = link['href']
             #print new_url
             #安装page_url 的格式，把new_url补全
             new_full_url = urlparse.urljoin(page_url, new_url)
             new_urls.add(new_full_url)
             #print new_full_url
         return new_urls

     def _get_new_data(self, page_url, soup):
         res_data = {}   #字典

         # url
         res_data['url'] = page_url
         #<dd class="lemmaWgt-lemmaTitle-title">
         #<h1>Python</h1>
         title_node = soup.find('dd',  class_= "lemmaWgt-lemmaTitle-title").find("h1")
         res_data['title'] = title_node.get_text()

         #<div class="lemma-summary" label-module="lemmaSummary">
         summary_node = soup.find('div', class_= "lemma-summary")
         res_data['summary'] = summary_node.get_text()

         return res_data

html_outputer.py （此处会出现 中文乱码）

 #!/usr/bin/python
 # coding=utf-8

 class HtmlOutputer(object):
     """docstring for HtmlOutputer"""
     def __init__(self):
         self.datas = []

     def collect_data(self, data):
         if data is None:
             return
         self.datas.append(data)

     def output_html(self):
         fout = open('output.html', 'w')

         fout.write("<html>")
         fout.write("<body>")
         fout.write("<table>")

         # python 默认 ascii
         for data in self.datas:
             fout.write("<tr>")
             fout.write("<td>%s</td>" % data['url'])
             fout.write("<td>%s</td>" % data['title'].encode('utf-8'))
             fout.write("<td>%s</td>" % data['summary'].encode('utf-8'))
             fout.write("</tr>")

         fout.write("</table>")
         fout.write("</body>")
         fout.write("</html>")

         fout.close()

log:

craw 1 : http://baike.baidu.com/view/21087.htm
craw 2 : http://baike.baidu.com/view/16068.htm
craw 3 : http://baike.baidu.com/view/53557.htm
craw 4 : http://baike.baidu.com/view/10812277.htm
craw 5 : http://baike.baidu.com/view/32571.htm
craw 6 : http://baike.baidu.com/view/757238.htm
craw 7 : http://baike.baidu.com/view/2888099.htm
craw 8 : http://baike.baidu.com/view/1369367.htm
craw 9 : http://baike.baidu.com/view/737.htm
craw 10 : http://baike.baidu.com/view/38648.htm
craw 11 : http://baike.baidu.com/view/230750.htm
craw 12 : http://baike.baidu.com/view/560583.htm
craw 13 : http://baike.baidu.com/view/902.htm
craw 14 : http://baike.baidu.com/view/18979.htm
craw 15 : http://baike.baidu.com/view/1158766.htm
craw 16 : http://baike.baidu.com/view/7977.htm
craw 17 : http://baike.baidu.com/view/1298929.htm
craw 18 : http://baike.baidu.com/view/642401.htm
craw 19 : http://baike.baidu.com/view/52940.htm
craw 20 : http://baike.baidu.com/view/449909.htm
craw 21 : http://baike.baidu.com/view/1703315.htm
craw 22 : http://baike.baidu.com/view/330120.htm
craw 23 : http://baike.baidu.com/view/120466.htm
craw 24 : http://baike.baidu.com/view/3593.htm
craw 25 : http://baike.baidu.com/view/37878.htm
craw 26 : http://baike.baidu.com/view/1882668.htm
craw 27 : http://baike.baidu.com/view/8439.htm
craw 28 : http://baike.baidu.com/view/8202227.htm
craw 29 : http://baike.baidu.com/view/10249166.htm
craw 30 : http://baike.baidu.com/view/1165.htm
craw 31 : http://baike.baidu.com/view/1768.htm
craw 32 : http://baike.baidu.com/view/1401824.htm
craw 33 : http://baike.baidu.com/view/185360.htm
craw 34 : http://baike.baidu.com/view/2993364.htm
craw 35 : http://baike.baidu.com/view/6115.htm
craw 36 : http://baike.baidu.com/view/46614.htm
craw 37 : http://baike.baidu.com/view/10090.htm
craw 38 : http://baike.baidu.com/view/1012.htm
craw 39 : http://baike.baidu.com/view/1090732.htm
craw 40 : http://baike.baidu.com/view/6561.htm
craw 41 : http://baike.baidu.com/view/190232.htm
craw 42 : http://baike.baidu.com/view/7124722.htm
craw 43 : http://baike.baidu.com/view/53593.htm
craw 44 : http://baike.baidu.com/view/3111535.htm
craw 45 : http://baike.baidu.com/view/8241.htm
craw 46 : http://baike.baidu.com/view/9890.htm
craw 47 : http://baike.baidu.com/view/2936980.htm
craw 48 : http://baike.baidu.com/view/4560575.htm
craw 49 : http://baike.baidu.com/view/8225845.htm
craw 50 : http://baike.baidu.com/view/422555.htm
craw 51 : http://baike.baidu.com/view/67568.htm
craw 52 : http://baike.baidu.com/view/1227765.htm
craw 53 : http://baike.baidu.com/view/253148.htm
craw 54 : http://baike.baidu.com/view/1159631.htm
craw 55 : http://baike.baidu.com/view/93758.htm
craw 56 : http://baike.baidu.com/view/238412.htm
craw 57 : http://baike.baidu.com/view/2773.htm
craw 58 : http://baike.baidu.com/view/822073.htm
craw 59 : http://baike.baidu.com/view/1265502.htm
craw 60 : http://baike.baidu.com/view/1127713.htm
craw 61 : http://baike.baidu.com/view/2422838.htm
craw 62 : http://baike.baidu.com/view/1309799.htm
craw 63 : http://baike.baidu.com/view/18806.htm
craw 64 : http://baike.baidu.com/view/4992984.htm
craw 65 : http://baike.baidu.com/view/3342115.htm
craw 66 : http://baike.baidu.com/view/7487.htm
craw 67 : http://baike.baidu.com/view/10102.htm
craw 68 : http://baike.baidu.com/view/9786653.htm
craw 69 : http://baike.baidu.com/view/938916.htm
craw 70 : http://baike.baidu.com/view/4556.htm
craw 71 : http://baike.baidu.com/view/3581.htm
craw 72 : http://baike.baidu.com/view/98997.htm
craw 73 : http://baike.baidu.com/view/340519.htm
craw 74 : http://baike.baidu.com/view/189766.htm
craw 75 : http://baike.baidu.com/view/417523.htm
craw 76 : http://baike.baidu.com/view/969420.htm
craw 77 : http://baike.baidu.com/view/287544.htm
craw 78 : http://baike.baidu.com/view/137833.htm
craw 79 : http://baike.baidu.com/view/482211.htm
craw 80 : http://baike.baidu.com/view/1369720.htm
craw 81 : http://baike.baidu.com/view/761171.htm
craw 82 : http://baike.baidu.com/view/15113.htm
craw 83 : http://baike.baidu.com/view/53593.htm?force=1
craw failed
craw 83 : http://baike.baidu.com/view/140372.htm
craw 84 : http://baike.baidu.com/view/34240.htm
craw 85 : http://baike.baidu.com/view/907.htm
craw 86 : http://baike.baidu.com/view/2213220.htm
craw 87 : http://baike.baidu.com/view/60734.htm
craw 88 : http://baike.baidu.com/view/13621.htm
craw 89 : http://baike.baidu.com/view/303553.htm
craw 90 : http://baike.baidu.com/view/1768205.htm
craw 91 : http://baike.baidu.com/view/1304004.htm
craw 92 : http://baike.baidu.com/view/1010007.htm
craw 93 : http://baike.baidu.com/view/432379.htm
craw 94 : http://baike.baidu.com/view/113905.htm
craw 95 : http://baike.baidu.com/view/3261842.htm
craw 96 : http://baike.baidu.com/view/409893.htm
craw 97 : http://baike.baidu.com/view/148176.htm
craw 98 : http://baike.baidu.com/view/798022.htm
craw 99 : http://baike.baidu.com/view/20701.htm
craw 100 : http://baike.baidu.com/view/35595.htm
craw 101 : http://baike.baidu.com/view/23160.htm
craw 102 : http://baike.baidu.com/view/7935119.htm
craw 103 : http://baike.baidu.com/view/3460.htm
craw 104 : http://baike.baidu.com/view/3034790.htm
craw 105 : http://baike.baidu.com/view/1346092.htm
craw 106 : http://baike.baidu.com/view/3624172.htm
craw 107 : http://baike.baidu.com/view/80305.htm
craw 108 : http://baike.baidu.com/view/1964086.htm
craw 109 : http://baike.baidu.com/view/20965.htm
craw 110 : http://baike.baidu.com/view/8206.htm
craw 111 : http://baike.baidu.com/view/1949.htm
craw failed
craw 111 : http://baike.baidu.com/view/486335.htm
craw 112 : http://baike.baidu.com/view/23706.htm
craw 113 : http://baike.baidu.com/view/292691.htm
craw 114 : http://baike.baidu.com/view/18192.htm
craw 115 : http://baike.baidu.com/view/65250.htm
craw 116 : http://baike.baidu.com/view/1633662.htm
craw 117 : http://baike.baidu.com/view/7836.htm
craw 118 : http://baike.baidu.com/view/216701.htm
craw 119 : http://baike.baidu.com/view/2027.htm
craw 120 : http://baike.baidu.com/view/393091.htm
craw 121 : http://baike.baidu.com/view/121167.htm
craw 122 : http://baike.baidu.com/view/137145.htm
craw 123 : http://baike.baidu.com/view/78724.htm
craw 124 : http://baike.baidu.com/view/16381.htm
craw 125 : http://baike.baidu.com/view/406130.htm
craw 126 : http://baike.baidu.com/view/122047.htm
craw 127 : http://baike.baidu.com/view/19655.htm
craw 128 : http://baike.baidu.com/view/1313694.htm
craw 129 : http://baike.baidu.com/view/2241762.htm
craw 130 : http://baike.baidu.com/view/111680.htm
craw 131 : http://baike.baidu.com/view/1106940.htm
craw 132 : http://baike.baidu.com/view/749940.htm
craw 133 : http://baike.baidu.com/view/574700.htm
craw 134 : http://baike.baidu.com/view/15202589.htm
craw 135 : http://baike.baidu.com/view/14845756.htm
craw 136 : http://baike.baidu.com/view/67007.htm
craw 137 : http://baike.baidu.com/view/67700.htm
craw 138 : http://baike.baidu.com/view/190556.htm
craw 139 : http://baike.baidu.com/view/608098.htm
craw 140 : http://baike.baidu.com/view/2971065.htm
craw 141 : http://baike.baidu.com/view/117631.htm
craw 142 : http://baike.baidu.com/view/1769772.htm
craw 143 : http://baike.baidu.com/view/3195275.htm
craw 144 : http://baike.baidu.com/view/910520.htm
craw 145 : http://baike.baidu.com/view/675822.htm
craw 146 : http://baike.baidu.com/view/13560.htm
craw 147 : http://baike.baidu.com/view/15641.htm
craw 148 : http://baike.baidu.com/view/7692.htm
craw 149 : http://baike.baidu.com/view/6618166.htm
craw 150 : http://baike.baidu.com/view/2110805.htm
craw 151 : http://baike.baidu.com/view/825271.htm
craw 152 : http://baike.baidu.com/view/9226.htm
craw 153 : http://baike.baidu.com/view/264107.htm
craw 154 : http://baike.baidu.com/view/569005.htm
craw 155 : http://baike.baidu.com/view/217618.htm
craw 156 : http://baike.baidu.com/view/189071.htm
craw 157 : http://baike.baidu.com/view/1780613.htm
craw 158 : http://baike.baidu.com/view/237729.htm
craw 159 : http://baike.baidu.com/view/404417.htm
craw 160 : http://baike.baidu.com/view/1300345.htm
craw 161 : http://baike.baidu.com/view/3344032.htm
craw 162 : http://baike.baidu.com/view/179652.htm
craw 163 : http://baike.baidu.com/view/170331.htm
craw 164 : http://baike.baidu.com/view/3212355.htm
craw 165 : http://baike.baidu.com/view/332791.htm
craw 166 : http://baike.baidu.com/view/18554.htm
craw 167 : http://baike.baidu.com/view/94764.htm
craw 168 : http://baike.baidu.com/view/359301.htm
craw 169 : http://baike.baidu.com/view/9319.htm
craw 170 : http://baike.baidu.com/view/63422.htm
craw 171 : http://baike.baidu.com/view/488704.htm
craw 172 : http://baike.baidu.com/view/489790.htm
craw 173 : http://baike.baidu.com/view/74745.htm
craw 174 : http://baike.baidu.com/view/2894153.htm
craw 175 : http://baike.baidu.com/view/357490.htm
craw 176 : http://baike.baidu.com/view/68974.htm
craw 177 : http://baike.baidu.com/view/21184.htm
craw 178 : http://baike.baidu.com/view/116771.htm
craw 179 : http://baike.baidu.com/view/8439.htm?force=1
craw failed
craw 179 : http://baike.baidu.com/view/1206943.htm
craw 180 : http://baike.baidu.com/view/8625.htm
craw 181 : http://baike.baidu.com/view/589573.htm
craw 182 : http://baike.baidu.com/view/566308.htm
craw 183 : http://baike.baidu.com/view/144228.htm
craw 184 : http://baike.baidu.com/view/1645568.htm
craw 185 : http://baike.baidu.com/view/2608.htm
craw 186 : http://baike.baidu.com/view/4963655.htm
craw 187 : http://baike.baidu.com/view/33292.htm
craw 188 : http://baike.baidu.com/view/1261670.htm
craw 189 : http://baike.baidu.com/view/87626.htm
craw 190 : http://baike.baidu.com/view/351068.htm
craw 191 : http://baike.baidu.com/view/889.htm
craw 192 : http://baike.baidu.com/view/28761.htm
craw 193 : http://baike.baidu.com/view/1541925.htm
craw 194 : http://baike.baidu.com/view/36522.htm
craw 195 : http://baike.baidu.com/view/1066153.htm
craw 196 : http://baike.baidu.com/view/1174786.htm
craw 197 : http://baike.baidu.com/view/49933.htm
craw 198 : http://baike.baidu.com/view/6340845.htm
craw 199 : http://baike.baidu.com/view/100904.htm
craw 200 : http://baike.baidu.com/view/32834.htm
craw 201 : http://baike.baidu.com/view/1372797.htm
craw 202 : http://baike.baidu.com/view/1310856.htm
craw 203 : http://baike.baidu.com/view/404295.htm
craw failed
craw 203 : http://baike.baidu.com/view/3622.htm
craw 204 : http://baike.baidu.com/view/1609682.htm
craw 205 : http://baike.baidu.com/view/1443416.htm
craw 206 : http://baike.baidu.com/view/6340.htm
craw 207 : http://baike.baidu.com/view/142998.htm
craw 208 : http://baike.baidu.com/view/285484.htm
craw 209 : http://baike.baidu.com/view/4440938.htm
craw 210 : http://baike.baidu.com/view/122700.htm
craw 211 : http://baike.baidu.com/view/159303.htm
craw 212 : http://baike.baidu.com/view/709787.htm
craw 213 : http://baike.baidu.com/view/592912.htm
craw 214 : http://baike.baidu.com/view/45308.htm
craw 215 : http://baike.baidu.com/view/546.htm
craw 216 : http://baike.baidu.com/view/80015.htm
craw 217 : http://baike.baidu.com/view/29564.htm
craw 218 : http://baike.baidu.com/view/241977.htm
craw 219 : http://baike.baidu.com/view/1094346.htm
craw 220 : http://baike.baidu.com/view/3588285.htm
craw 221 : http://baike.baidu.com/view/19430.htm
craw 222 : http://baike.baidu.com/view/66794.htm
craw 223 : http://baike.baidu.com/view/11782701.htm
craw 224 : http://baike.baidu.com/view/289681.htm
craw 225 : http://baike.baidu.com/view/423240.htm
craw 226 : http://baike.baidu.com/view/37703.htm
craw 227 : http://baike.baidu.com/view/43898.htm
craw 228 : http://baike.baidu.com/view/46184.htm
craw 229 : http://baike.baidu.com/view/2676492.htm
craw 230 : http://baike.baidu.com/view/78504.htm
craw 231 : http://baike.baidu.com/view/18650.htm
craw 232 : http://baike.baidu.com/view/88420.htm
craw 233 : http://baike.baidu.com/view/41435.htm
craw 234 : http://baike.baidu.com/view/132672.htm
craw 235 : http://baike.baidu.com/view/710798.htm
craw 236 : http://baike.baidu.com/view/1383707.htm
craw 237 : http://baike.baidu.com/view/312759.htm
craw 238 : http://baike.baidu.com/view/779344.htm
craw 239 : http://baike.baidu.com/view/6997.htm
craw 240 : http://baike.baidu.com/view/101527.htm
craw 241 : http://baike.baidu.com/view/11653292.htm
craw 242 : http://baike.baidu.com/view/71101.htm
craw 243 : http://baike.baidu.com/view/1307135.htm
craw 244 : http://baike.baidu.com/view/574686.htm
craw 245 : http://baike.baidu.com/view/149416.htm
craw 246 : http://baike.baidu.com/view/4372117.htm
craw 247 : http://baike.baidu.com/view/71792.htm
craw 248 : http://baike.baidu.com/view/2187861.htm
craw 249 : http://baike.baidu.com/view/274765.htm
craw 250 : http://baike.baidu.com/view/2052719.htm
craw 251 : http://baike.baidu.com/view/4245866.htm
craw 252 : http://baike.baidu.com/view/101480.htm
craw 253 : http://baike.baidu.com/view/600107.htm
craw 254 : http://baike.baidu.com/view/409891.htm
craw 255 : http://baike.baidu.com/view/18869.htm
craw 256 : http://baike.baidu.com/view/1063549.htm
craw 257 : http://baike.baidu.com/view/2086457.htm
craw 258 : http://baike.baidu.com/view/3715262.htm
craw 259 : http://baike.baidu.com/view/24984.htm
craw 260 : http://baike.baidu.com/view/89452.htm
craw 261 : http://baike.baidu.com/view/6683.htm
craw 262 : http://baike.baidu.com/view/3474.htm
craw 263 : http://baike.baidu.com/view/550915.htm
craw 264 : http://baike.baidu.com/view/80142.htm
craw 265 : http://baike.baidu.com/view/249084.htm
craw 266 : http://baike.baidu.com/view/567894.htm
craw 267 : http://baike.baidu.com/view/7974045.htm
craw 268 : http://baike.baidu.com/view/562547.htm
craw 269 : http://baike.baidu.com/view/148537.htm
craw 270 : http://baike.baidu.com/view/3081394.htm
craw 271 : http://baike.baidu.com/view/1296507.htm
craw 272 : http://baike.baidu.com/view/1215449.htm
craw 273 : http://baike.baidu.com/view/4220534.htm
craw 274 : http://baike.baidu.com/view/552298.htm
craw 275 : http://baike.baidu.com/view/28270.htm
craw 276 : http://baike.baidu.com/view/369515.htm
craw 277 : http://baike.baidu.com/view/941857.htm
craw 278 : http://baike.baidu.com/view/873573.htm
craw 279 : http://baike.baidu.com/view/189818.htm
craw 280 : http://baike.baidu.com/view/207775.htm
craw 281 : http://baike.baidu.com/view/30049.htm
craw 282 : http://baike.baidu.com/view/291195.htm
craw 283 : http://baike.baidu.com/view/94667.htm
craw 284 : http://baike.baidu.com/view/214618.htm
craw 285 : http://baike.baidu.com/view/5093.htm
craw 286 : http://baike.baidu.com/view/4723.htm
craw 287 : http://baike.baidu.com/view/21971.htm
craw 288 : http://baike.baidu.com/view/4981.htm
craw 289 : http://baike.baidu.com/view/163.htm
craw 290 : http://baike.baidu.com/view/161381.htm
craw 291 : http://baike.baidu.com/view/306550.htm
craw 292 : http://baike.baidu.com/view/3710530.htm
craw 293 : http://baike.baidu.com/view/346799.htm
craw 294 : http://baike.baidu.com/view/2332455.htm
craw 295 : http://baike.baidu.com/view/1346016.htm
craw 296 : http://baike.baidu.com/view/34163.htm
craw 297 : http://baike.baidu.com/view/1040178.htm
craw 298 : http://baike.baidu.com/view/132820.htm
craw 299 : http://baike.baidu.com/view/1170461.htm
craw 300 : http://baike.baidu.com/view/206889.htm
craw 301 : http://baike.baidu.com/view/358623.htm
craw 302 : http://baike.baidu.com/view/6833490.htm
craw 303 : http://baike.baidu.com/view/521403.htm
craw 304 : http://baike.baidu.com/view/168039.htm
craw 305 : http://baike.baidu.com/view/624287.htm
craw 306 : http://baike.baidu.com/view/3669232.htm
craw 307 : http://baike.baidu.com/view/725411.htm
craw 308 : http://baike.baidu.com/view/1776829.htm
craw 309 : http://baike.baidu.com/view/6711967.htm
craw 310 : http://baike.baidu.com/view/229466.htm
craw 311 : http://baike.baidu.com/view/4895945.htm
craw 312 : http://baike.baidu.com/view/1708047.htm
craw 313 : http://baike.baidu.com/view/1032826.htm
craw 314 : http://baike.baidu.com/view/223917.htm
craw 315 : http://baike.baidu.com/view/58612.htm
craw 316 : http://baike.baidu.com/view/364718.htm
craw 317 : http://baike.baidu.com/view/1553010.htm
craw 318 : http://baike.baidu.com/view/40073.htm
craw 319 : http://baike.baidu.com/view/10108.htm
craw 320 : http://baike.baidu.com/view/62180.htm
craw 321 : http://baike.baidu.com/view/1689.htm
craw 322 : http://baike.baidu.com/view/854461.htm
craw 323 : http://baike.baidu.com/view/940627.htm
craw 324 : http://baike.baidu.com/view/2359457.htm
craw 325 : http://baike.baidu.com/view/8222.htm
craw 326 : http://baike.baidu.com/view/154898.htm
craw 327 : http://baike.baidu.com/view/3247896.htm
craw 328 : http://baike.baidu.com/view/615014.htm
craw 329 : http://baike.baidu.com/view/21220.htm
craw 330 : http://baike.baidu.com/view/847698.htm
craw 331 : http://baike.baidu.com/view/2552483.htm
craw 332 : http://baike.baidu.com/view/446276.htm
craw 333 : http://baike.baidu.com/view/42510.htm
craw 334 : http://baike.baidu.com/view/9515579.htm
craw 335 : http://baike.baidu.com/view/3440211.htm
craw 336 : http://baike.baidu.com/view/6654.htm
craw 337 : http://baike.baidu.com/view/852359.htm
craw 338 : http://baike.baidu.com/view/933483.htm
craw 339 : http://baike.baidu.com/view/36759.htm
craw 340 : http://baike.baidu.com/view/1856605.htm
craw 341 : http://baike.baidu.com/view/1564035.htm
craw 342 : http://baike.baidu.com/view/2940349.htm
craw 343 : http://baike.baidu.com/view/953642.htm
craw 344 : http://baike.baidu.com/view/10537.htm
craw 345 : http://baike.baidu.com/view/441484.htm
craw 346 : http://baike.baidu.com/view/1497437.htm
craw 347 : http://baike.baidu.com/view/813231.htm
craw 348 : http://baike.baidu.com/view/7899247.htm
craw 349 : http://baike.baidu.com/view/27253.htm
craw 350 : http://baike.baidu.com/view/880846.htm
craw 351 : http://baike.baidu.com/view/74271.htm
craw 352 : http://baike.baidu.com/view/147943.htm
craw 353 : http://baike.baidu.com/view/3830.htm
craw 354 : http://baike.baidu.com/view/210252.htm
craw 355 : http://baike.baidu.com/view/23985.htm
craw 356 : http://baike.baidu.com/view/117233.htm
craw 357 : http://baike.baidu.com/view/3794034.htm
craw 358 : http://baike.baidu.com/view/195371.htm
craw 359 : http://baike.baidu.com/view/723571.htm
craw 360 : http://baike.baidu.com/view/15147985.htm
craw 361 : http://baike.baidu.com/view/1298974.htm
craw 362 : http://baike.baidu.com/view/20658.htm
craw 363 : http://baike.baidu.com/view/45333.htm
craw 364 : http://baike.baidu.com/view/26607.htm
craw 365 : http://baike.baidu.com/view/494962.htm
craw 366 : http://baike.baidu.com/view/483302.htm
craw 367 : http://baike.baidu.com/view/416875.htm
craw 368 : http://baike.baidu.com/view/37814.htm
craw 369 : http://baike.baidu.com/view/2760.htm
craw 370 : http://baike.baidu.com/view/21959.htm
craw 371 : http://baike.baidu.com/view/1685140.htm
craw 372 : http://baike.baidu.com/view/1914.htm
craw 373 : http://baike.baidu.com/view/191224.htm
craw 374 : http://baike.baidu.com/view/474547.htm
craw 375 : http://baike.baidu.com/view/71793.htm
craw 376 : http://baike.baidu.com/view/1689.htm?force=1
craw failed
craw 376 : http://baike.baidu.com/view/3740105.htm
craw 377 : http://baike.baidu.com/view/1526467.htm
craw 378 : http://baike.baidu.com/view/109721.htm
craw 379 : http://baike.baidu.com/view/47722.htm
craw 380 : http://baike.baidu.com/view/390088.htm
craw 381 : http://baike.baidu.com/view/26400.htm
craw 382 : http://baike.baidu.com/view/7942745.htm
craw 383 : http://baike.baidu.com/view/959239.htm
craw 384 : http://baike.baidu.com/view/35719.htm
craw 385 : http://baike.baidu.com/view/443551.htm
craw 386 : http://baike.baidu.com/view/303713.htm
craw 387 : http://baike.baidu.com/view/1307896.htm
craw 388 : http://baike.baidu.com/view/294909.htm
craw 389 : http://baike.baidu.com/view/2430624.htm
craw 390 : http://baike.baidu.com/view/14589859.htm
craw 391 : http://baike.baidu.com/view/13744528.htm
craw 392 : http://baike.baidu.com/view/159171.htm
craw 393 : http://baike.baidu.com/view/14140.htm
craw 394 : http://baike.baidu.com/view/77570.htm
craw 395 : http://baike.baidu.com/view/1070557.htm
craw 396 : http://baike.baidu.com/view/560222.htm
craw 397 : http://baike.baidu.com/view/4960.htm
craw 398 : http://baike.baidu.com/view/36836.htm
craw 399 : http://baike.baidu.com/view/37550.htm
craw 400 : http://baike.baidu.com/view/1565.htm
craw 401 : http://baike.baidu.com/view/602315.htm
craw 402 : http://baike.baidu.com/view/880103.htm
craw 403 : http://baike.baidu.com/view/956.htm
craw 404 : http://baike.baidu.com/view/204970.htm
craw 405 : http://baike.baidu.com/view/390583.htm
craw 406 : http://baike.baidu.com/view/302307.htm
craw 407 : http://baike.baidu.com/view/1052759.htm
craw 408 : http://baike.baidu.com/view/171250.htm
craw 409 : http://baike.baidu.com/view/274162.htm
craw 410 : http://baike.baidu.com/view/1210491.htm
craw 411 : http://baike.baidu.com/view/74493.htm
craw 412 : http://baike.baidu.com/view/7004159.htm
craw 413 : http://baike.baidu.com/view/53376.htm
craw 414 : http://baike.baidu.com/view/233100.htm
craw 415 : http://baike.baidu.com/view/29999.htm
craw 416 : http://baike.baidu.com/view/432089.htm
craw 417 : http://baike.baidu.com/view/894260.htm
craw 418 : http://baike.baidu.com/view/1015260.htm
craw 419 : http://baike.baidu.com/view/675970.htm
craw 420 : http://baike.baidu.com/view/636395.htm
craw 421 : http://baike.baidu.com/view/7119433.htm
craw 422 : http://baike.baidu.com/view/179090.htm
craw 423 : http://baike.baidu.com/view/31249.htm
craw 424 : http://baike.baidu.com/view/5793.htm
craw 425 : http://baike.baidu.com/view/888312.htm
craw 426 : http://baike.baidu.com/view/2438591.htm
craw 427 : http://baike.baidu.com/view/293860.htm
craw 428 : http://baike.baidu.com/view/920855.htm
craw 429 : http://baike.baidu.com/view/64183.htm
craw 430 : http://baike.baidu.com/view/1992225.htm
craw 431 : http://baike.baidu.com/view/8497874.htm
craw 432 : http://baike.baidu.com/view/4591.htm
craw 433 : http://baike.baidu.com/view/25435.htm
craw 434 : http://baike.baidu.com/view/41321.htm
craw 435 : http://baike.baidu.com/view/2053930.htm
craw 436 : http://baike.baidu.com/view/1496782.htm
craw 437 : http://baike.baidu.com/view/305588.htm
craw 438 : http://baike.baidu.com/view/5936045.htm
craw 439 : http://baike.baidu.com/view/999833.htm
craw 440 : http://baike.baidu.com/view/6565257.htm
craw 441 : http://baike.baidu.com/view/48726.htm
craw 442 : http://baike.baidu.com/view/3453016.htm
craw 443 : http://baike.baidu.com/view/2557460.htm
craw 444 : http://baike.baidu.com/view/802757.htm
craw 445 : http://baike.baidu.com/view/7967.htm
craw 446 : http://baike.baidu.com/view/2639413.htm
craw 447 : http://baike.baidu.com/view/81293.htm
craw 448 : http://baike.baidu.com/view/64179.htm
craw 449 : http://baike.baidu.com/view/82466.htm
craw 450 : http://baike.baidu.com/view/33391.htm
craw 451 : http://baike.baidu.com/view/938780.htm
craw 452 : http://baike.baidu.com/view/5410625.htm
craw 453 : http://baike.baidu.com/view/40164.htm
craw 454 : http://baike.baidu.com/view/502623.htm
craw 455 : http://baike.baidu.com/view/2362012.htm
craw 456 : http://baike.baidu.com/view/2975910.htm
craw 457 : http://baike.baidu.com/view/6021158.htm
craw 458 : http://baike.baidu.com/view/37412.htm
craw 459 : http://baike.baidu.com/view/1593538.htm
craw 460 : http://baike.baidu.com/view/71687.htm
craw 461 : http://baike.baidu.com/view/3230.htm
craw 462 : http://baike.baidu.com/view/1520474.htm
craw 463 : http://baike.baidu.com/view/26839.htm
craw 464 : http://baike.baidu.com/view/133316.htm
craw 465 : http://baike.baidu.com/view/129261.htm
craw 466 : http://baike.baidu.com/view/78504.htm?force=1
craw failed
craw 466 : http://baike.baidu.com/view/1769413.htm
craw 467 : http://baike.baidu.com/view/828867.htm
craw failed
craw 467 : http://baike.baidu.com/view/1596573.htm
craw 468 : http://baike.baidu.com/view/2578280.htm
craw 469 : http://baike.baidu.com/view/563790.htm
craw 470 : http://baike.baidu.com/view/510282.htm
craw 471 : http://baike.baidu.com/view/3180364.htm
craw 472 : http://baike.baidu.com/view/10950862.htm
craw 473 : http://baike.baidu.com/view/4974089.htm
craw 474 : http://baike.baidu.com/view/2053679.htm
craw 475 : http://baike.baidu.com/view/1267536.htm
craw 476 : http://baike.baidu.com/view/65649.htm
craw 477 : http://baike.baidu.com/view/543084.htm
craw 478 : http://baike.baidu.com/view/1958670.htm
craw 479 : http://baike.baidu.com/view/2743188.htm
craw 480 : http://baike.baidu.com/view/135809.htm
craw 481 : http://baike.baidu.com/view/285172.htm
craw 482 : http://baike.baidu.com/view/35661.htm
craw 483 : http://baike.baidu.com/view/7923082.htm
craw 484 : http://baike.baidu.com/view/10870540.htm
craw 485 : http://baike.baidu.com/view/7034.htm
craw 486 : http://baike.baidu.com/view/2952944.htm
craw 487 : http://baike.baidu.com/view/11774919.htm
craw 488 : http://baike.baidu.com/view/22033.htm
craw 489 : http://baike.baidu.com/view/399983.htm
craw 490 : http://baike.baidu.com/view/72967.htm
craw 491 : http://baike.baidu.com/view/551398.htm
craw 492 : http://baike.baidu.com/view/247097.htm
craw 493 : http://baike.baidu.com/view/363789.htm
craw 494 : http://baike.baidu.com/view/2180988.htm
craw 495 : http://baike.baidu.com/view/1070553.htm
craw 496 : http://baike.baidu.com/view/531247.htm
craw 497 : http://baike.baidu.com/view/247033.htm
craw 498 : http://baike.baidu.com/view/1304533.htm
craw 499 : http://baike.baidu.com/view/818225.htm
craw 500 : http://baike.baidu.com/view/5289556.htm
craw 501 : http://baike.baidu.com/view/77495.htm
craw 502 : http://baike.baidu.com/view/35995.htm
craw 503 : http://baike.baidu.com/view/381505.htm
craw 504 : http://baike.baidu.com/view/2528713.htm
craw 505 : http://baike.baidu.com/view/89158.htm
craw 506 : http://baike.baidu.com/view/987432.htm
craw 507 : http://baike.baidu.com/view/46420.htm
craw 508 : http://baike.baidu.com/view/604631.htm
craw 509 : http://baike.baidu.com/view/280891.htm
craw 510 : http://baike.baidu.com/view/746295.htm
craw 511 : http://baike.baidu.com/view/400.htm
craw 512 : http://baike.baidu.com/view/392325.htm
craw 513 : http://baike.baidu.com/view/306945.htm
craw 514 : http://baike.baidu.com/view/1145204.htm
craw 515 : http://baike.baidu.com/view/709049.htm
craw 516 : http://baike.baidu.com/view/9822717.htm
craw 517 : http://baike.baidu.com/view/990418.htm
craw 518 : http://baike.baidu.com/view/116024.htm
craw 519 : http://baike.baidu.com/view/571805.htm
craw 520 : http://baike.baidu.com/view/1833325.htm
craw 521 : http://baike.baidu.com/view/83461.htm
craw 522 : http://baike.baidu.com/view/93546.htm
craw 523 : http://baike.baidu.com/view/2375679.htm
craw 524 : http://baike.baidu.com/view/547398.htm
craw 525 : http://baike.baidu.com/view/604160.htm
craw 526 : http://baike.baidu.com/view/634832.htm
craw 527 : http://baike.baidu.com/view/878756.htm
craw 528 : http://baike.baidu.com/view/1333289.htm
craw 529 : http://baike.baidu.com/view/1069189.htm
craw 530 : http://baike.baidu.com/view/2255144.htm
craw failed
craw 530 : http://baike.baidu.com/view/188818.htm
craw 531 : http://baike.baidu.com/view/312489.htm
craw 532 : http://baike.baidu.com/view/29545.htm
craw 533 : http://baike.baidu.com/view/14662.htm
craw 534 : http://baike.baidu.com/view/314691.htm
craw 535 : http://baike.baidu.com/view/69242.htm
craw 536 : http://baike.baidu.com/view/904574.htm
craw 537 : http://baike.baidu.com/view/1968722.htm
craw 538 : http://baike.baidu.com/view/604631.htm?force=1
craw failed
craw 538 : http://baike.baidu.com/view/1217602.htm
craw 539 : http://baike.baidu.com/view/21781.htm
craw 540 : http://baike.baidu.com/view/48252.htm
craw 541 : http://baike.baidu.com/view/1782706.htm
craw 542 : http://baike.baidu.com/view/490646.htm
craw 543 : http://baike.baidu.com/view/1522668.htm
craw 544 : http://baike.baidu.com/view/30528.htm
craw 545 : http://baike.baidu.com/view/15342391.htm
craw 546 : http://baike.baidu.com/view/173672.htm
craw 547 : http://baike.baidu.com/view/836237.htm
craw 548 : http://baike.baidu.com/view/285484.htm?force=1
craw failed
craw 548 : http://baike.baidu.com/view/194638.htm
craw 549 : http://baike.baidu.com/view/11613295.htm
craw 550 : http://baike.baidu.com/view/880359.htm
craw 551 : http://baike.baidu.com/view/330007.htm
craw 552 : http://baike.baidu.com/view/148021.htm
craw 553 : http://baike.baidu.com/view/961640.htm
craw 554 : http://baike.baidu.com/view/551337.htm
craw 555 : http://baike.baidu.com/view/1009570.htm
craw 556 : http://baike.baidu.com/view/806175.htm
craw 557 : http://baike.baidu.com/view/2438050.htm
craw 558 : http://baike.baidu.com/view/752847.htm
craw 559 : http://baike.baidu.com/view/1137287.htm
craw 560 : http://baike.baidu.com/view/5711088.htm
craw 561 : http://baike.baidu.com/view/5307477.htm
craw 562 : http://baike.baidu.com/view/13973661.htm
craw 563 : http://baike.baidu.com/view/699202.htm
craw 564 : http://baike.baidu.com/view/38554.htm
craw 565 : http://baike.baidu.com/view/15109778.htm
craw 566 : http://baike.baidu.com/view/8162095.htm
craw 567 : http://baike.baidu.com/view/51352.htm
craw 568 : http://baike.baidu.com/view/195862.htm
craw 569 : http://baike.baidu.com/view/415801.htm
craw 570 : http://baike.baidu.com/view/892300.htm
craw 571 : http://baike.baidu.com/view/37280.htm
craw 572 : http://baike.baidu.com/view/393108.htm
craw 573 : http://baike.baidu.com/view/255029.htm
craw 574 : http://baike.baidu.com/view/547864.htm
craw 575 : http://baike.baidu.com/view/1518634.htm
craw 576 : http://baike.baidu.com/view/320533.htm
craw 577 : http://baike.baidu.com/view/437807.htm
craw 578 : http://baike.baidu.com/view/34790.htm
craw 579 : http://baike.baidu.com/view/209521.htm
craw 580 : http://baike.baidu.com/view/1086113.htm
craw 581 : http://baike.baidu.com/view/172427.htm
craw 582 : http://baike.baidu.com/view/2888080.htm
craw 583 : http://baike.baidu.com/view/73455.htm
craw 584 : http://baike.baidu.com/view/6159200.htm
craw 585 : http://baike.baidu.com/view/10159127.htm
craw 586 : http://baike.baidu.com/view/1019427.htm
craw 587 : http://baike.baidu.com/view/285183.htm
craw 588 : http://baike.baidu.com/view/11288993.htm
craw 589 : http://baike.baidu.com/view/354087.htm
craw 590 : http://baike.baidu.com/view/2769.htm
craw 591 : http://baike.baidu.com/view/989422.htm
craw 592 : http://baike.baidu.com/view/624572.htm
craw 593 : http://baike.baidu.com/view/6979179.htm
craw 594 : http://baike.baidu.com/view/3204817.htm
craw 595 : http://baike.baidu.com/view/6128884.htm
craw 596 : http://baike.baidu.com/view/1629883.htm
craw 597 : http://baike.baidu.com/view/157652.htm
craw 598 : http://baike.baidu.com/view/1546705.htm
craw 599 : http://baike.baidu.com/view/8433888.htm
craw 600 : http://baike.baidu.com/view/4469413.htm
craw 601 : http://baike.baidu.com/view/38597.htm
craw 602 : http://baike.baidu.com/view/2663283.htm
craw failed
craw 602 : http://baike.baidu.com/view/3897.htm
craw 603 : http://baike.baidu.com/view/731826.htm
craw 604 : http://baike.baidu.com/view/4565963.htm
craw 605 : http://baike.baidu.com/view/122313.htm
craw 606 : http://baike.baidu.com/view/82042.htm
craw 607 : http://baike.baidu.com/view/2145608.htm
craw 608 : http://baike.baidu.com/view/543799.htm
craw 609 : http://baike.baidu.com/view/3159946.htm
craw 610 : http://baike.baidu.com/view/5622.htm
craw 611 : http://baike.baidu.com/view/4956083.htm
craw 612 : http://baike.baidu.com/view/2838982.htm
craw 613 : http://baike.baidu.com/view/2189843.htm
craw 614 : http://baike.baidu.com/view/1963.htm
craw 615 : http://baike.baidu.com/view/1830171.htm
craw 616 : http://baike.baidu.com/view/287517.htm
craw 617 : http://baike.baidu.com/view/954381.htm
craw 618 : http://baike.baidu.com/view/1125626.htm
craw 619 : http://baike.baidu.com/view/807947.htm
craw 620 : http://baike.baidu.com/view/1622687.htm
craw 621 : http://baike.baidu.com/view/89062.htm
craw 622 : http://baike.baidu.com/view/374019.htm
craw 623 : http://baike.baidu.com/view/15063271.htm
craw 624 : http://baike.baidu.com/view/2840006.htm
craw 625 : http://baike.baidu.com/view/63932.htm
craw 626 : http://baike.baidu.com/view/50425.htm
craw 627 : http://baike.baidu.com/view/27827.htm
craw 628 : http://baike.baidu.com/view/3350878.htm
craw 629 : http://baike.baidu.com/view/79022.htm
craw 630 : http://baike.baidu.com/view/873224.htm
craw 631 : http://baike.baidu.com/view/838647.htm
craw 632 : http://baike.baidu.com/view/37971.htm
craw 633 : http://baike.baidu.com/view/1272377.htm
craw 634 : http://baike.baidu.com/view/4902.htm
craw 635 : http://baike.baidu.com/view/908487.htm
craw 636 : http://baike.baidu.com/view/752677.htm
craw 637 : http://baike.baidu.com/view/184943.htm
craw 638 : http://baike.baidu.com/view/82384.htm
craw 639 : http://baike.baidu.com/view/51280.htm
craw 640 : http://baike.baidu.com/view/2454858.htm
craw 641 : http://baike.baidu.com/view/3629327.htm
craw 642 : http://baike.baidu.com/view/1270686.htm
craw 643 : http://baike.baidu.com/view/5607.htm
craw 644 : http://baike.baidu.com/view/7324.htm
craw 645 : http://baike.baidu.com/view/49842.htm
craw 646 : http://baike.baidu.com/view/1222.htm
craw 647 : http://baike.baidu.com/view/5134310.htm
craw 648 : http://baike.baidu.com/view/7899025.htm
craw 649 : http://baike.baidu.com/view/626538.htm
craw 650 : http://baike.baidu.com/view/1356068.htm
craw 651 : http://baike.baidu.com/view/635488.htm
craw 652 : http://baike.baidu.com/view/2690747.htm
craw 653 : http://baike.baidu.com/view/19308.htm
craw 654 : http://baike.baidu.com/view/1115676.htm
craw 655 : http://baike.baidu.com/view/145665.htm
craw 656 : http://baike.baidu.com/view/57240.htm
craw 657 : http://baike.baidu.com/view/3811504.htm
craw 658 : http://baike.baidu.com/view/196935.htm
craw 659 : http://baike.baidu.com/view/779630.htm
craw 660 : http://baike.baidu.com/view/467578.htm
craw 661 : http://baike.baidu.com/view/163592.htm
craw 662 : http://baike.baidu.com/view/3473650.htm
craw 663 : http://baike.baidu.com/view/708788.htm
craw 664 : http://baike.baidu.com/view/743382.htm
craw 665 : http://baike.baidu.com/view/377580.htm
craw 666 : http://baike.baidu.com/view/255729.htm
craw 667 : http://baike.baidu.com/view/4314.htm
craw 668 : http://baike.baidu.com/view/4295873.htm
craw 669 : http://baike.baidu.com/view/2749901.htm
craw 670 : http://baike.baidu.com/view/6655573.htm
craw 671 : http://baike.baidu.com/view/3060872.htm
craw 672 : http://baike.baidu.com/view/25309.htm
craw 673 : http://baike.baidu.com/view/59593.htm
craw 674 : http://baike.baidu.com/view/4052445.htm
craw 675 : http://baike.baidu.com/view/945149.htm
craw 676 : http://baike.baidu.com/view/38020.htm
craw 677 : http://baike.baidu.com/view/15707.htm
craw 678 : http://baike.baidu.com/view/1791978.htm
craw 679 : http://baike.baidu.com/view/2037245.htm
craw 680 : http://baike.baidu.com/view/57483.htm
craw 681 : http://baike.baidu.com/view/850287.htm
craw 682 : http://baike.baidu.com/view/56533.htm
craw 683 : http://baike.baidu.com/view/4998282.htm
craw 684 : http://baike.baidu.com/view/420580.htm
craw 685 : http://baike.baidu.com/view/6464381.htm
craw 686 : http://baike.baidu.com/view/628311.htm
craw 687 : http://baike.baidu.com/view/247560.htm
craw 688 : http://baike.baidu.com/view/247920.htm
craw 689 : http://baike.baidu.com/view/1768.htm?force=1
craw failed
craw 689 : http://baike.baidu.com/view/437926.htm
craw 690 : http://baike.baidu.com/view/335524.htm
craw 691 : http://baike.baidu.com/view/99763.htm
craw 692 : http://baike.baidu.com/view/87503.htm
craw 693 : http://baike.baidu.com/view/73340.htm
craw 694 : http://baike.baidu.com/view/153495.htm
craw 695 : http://baike.baidu.com/view/1045770.htm
craw 696 : http://baike.baidu.com/view/1050019.htm
craw 697 : http://baike.baidu.com/view/629649.htm
craw 698 : http://baike.baidu.com/view/118803.htm
craw 699 : http://baike.baidu.com/view/134456.htm
craw 700 : http://baike.baidu.com/view/9009455.htm
craw 701 : http://baike.baidu.com/view/731775.htm
craw 702 : http://baike.baidu.com/view/1080.htm
craw 703 : http://baike.baidu.com/view/296505.htm
craw 704 : http://baike.baidu.com/view/8375162.htm
craw 705 : http://baike.baidu.com/view/165332.htm
craw 706 : http://baike.baidu.com/view/768643.htm
craw 707 : http://baike.baidu.com/view/1127103.htm
craw 708 : http://baike.baidu.com/view/253674.htm
craw 709 : http://baike.baidu.com/view/287053.htm
craw 710 : http://baike.baidu.com/view/823673.htm
craw 711 : http://baike.baidu.com/view/4690186.htm
craw 712 : http://baike.baidu.com/view/365436.htm
craw 713 : http://baike.baidu.com/view/8964601.htm
craw 714 : http://baike.baidu.com/view/57614.htm
craw 715 : http://baike.baidu.com/view/114498.htm
craw 716 : http://baike.baidu.com/view/923594.htm
craw 717 : http://baike.baidu.com/view/60929.htm
craw 718 : http://baike.baidu.com/view/5435047.htm
craw 719 : http://baike.baidu.com/view/506283.htm
craw 720 : http://baike.baidu.com/view/540990.htm
craw 721 : http://baike.baidu.com/view/1108588.htm
craw 722 : http://baike.baidu.com/view/52606.htm
craw 723 : http://baike.baidu.com/view/1316104.htm
craw 724 : http://baike.baidu.com/view/746679.htm
craw 725 : http://baike.baidu.com/view/1677203.htm
craw 726 : http://baike.baidu.com/view/89762.htm
craw 727 : http://baike.baidu.com/view/83228.htm
craw 728 : http://baike.baidu.com/view/3725178.htm
craw 729 : http://baike.baidu.com/view/146163.htm
craw 730 : http://baike.baidu.com/view/36453.htm
craw 731 : http://baike.baidu.com/view/3426346.htm
craw 732 : http://baike.baidu.com/view/3566096.htm
craw 733 : http://baike.baidu.com/view/1601411.htm
craw 734 : http://baike.baidu.com/view/55489.htm
craw 735 : http://baike.baidu.com/view/16861.htm
craw 736 : http://baike.baidu.com/view/4987812.htm
craw 737 : http://baike.baidu.com/view/367246.htm
craw 738 : http://baike.baidu.com/view/42607.htm
craw 739 : http://baike.baidu.com/view/51830.htm
craw 740 : http://baike.baidu.com/view/3086730.htm
craw 741 : http://baike.baidu.com/view/187677.htm
craw 742 : http://baike.baidu.com/view/10812319.htm
craw 743 : http://baike.baidu.com/view/9278189.htm
craw failed
craw 743 : http://baike.baidu.com/view/11154.htm
craw 744 : http://baike.baidu.com/view/3877425.htm
craw 745 : http://baike.baidu.com/view/3786883.htm
craw 746 : http://baike.baidu.com/view/115626.htm
craw 747 : http://baike.baidu.com/view/1541187.htm
craw 748 : http://baike.baidu.com/view/417234.htm
craw 749 : http://baike.baidu.com/view/1504278.htm
craw 750 : http://baike.baidu.com/view/984311.htm
craw 751 : http://baike.baidu.com/view/427781.htm
craw 752 : http://baike.baidu.com/view/206565.htm
craw 753 : http://baike.baidu.com/view/7812.htm
craw 754 : http://baike.baidu.com/view/3245437.htm
craw 755 : http://baike.baidu.com/view/958886.htm
craw 756 : http://baike.baidu.com/view/99902.htm
craw 757 : http://baike.baidu.com/view/737191.htm
craw 758 : http://baike.baidu.com/view/149197.htm
craw 759 : http://baike.baidu.com/view/39583.htm
craw 760 : http://baike.baidu.com/view/469556.htm
craw 761 : http://baike.baidu.com/view/439228.htm
craw 762 : http://baike.baidu.com/view/804486.htm
craw 763 : http://baike.baidu.com/view/3047417.htm
craw 764 : http://baike.baidu.com/view/56242.htm
craw 765 : http://baike.baidu.com/view/3354307.htm
craw 766 : http://baike.baidu.com/view/329791.htm
craw 767 : http://baike.baidu.com/view/3973.htm
craw 768 : http://baike.baidu.com/view/21337.htm
craw 769 : http://baike.baidu.com/view/568485.htm
craw 770 : http://baike.baidu.com/view/98396.htm
craw 771 : http://baike.baidu.com/view/2986106.htm
craw 772 : http://baike.baidu.com/view/335545.htm
craw 773 : http://baike.baidu.com/view/1358513.htm
craw 774 : http://baike.baidu.com/view/597419.htm
craw 775 : http://baike.baidu.com/view/79928.htm
craw 776 : http://baike.baidu.com/view/1976893.htm
craw 777 : http://baike.baidu.com/view/34721.htm
craw 778 : http://baike.baidu.com/view/729241.htm
craw 779 : http://baike.baidu.com/view/2078353.htm
craw 780 : http://baike.baidu.com/view/805190.htm
craw 781 : http://baike.baidu.com/view/3445469.htm
craw 782 : http://baike.baidu.com/view/140904.htm
craw 783 : http://baike.baidu.com/view/13590860.htm
craw 784 : http://baike.baidu.com/view/10796.htm
craw 785 : http://baike.baidu.com/view/1007475.htm
craw 786 : http://baike.baidu.com/view/288200.htm
craw 787 : http://baike.baidu.com/view/198007.htm
craw 788 : http://baike.baidu.com/view/596572.htm
craw 789 : http://baike.baidu.com/view/4818171.htm
craw 790 : http://baike.baidu.com/view/340391.htm
craw 791 : http://baike.baidu.com/view/228841.htm
craw 792 : http://baike.baidu.com/view/251133.htm
craw 793 : http://baike.baidu.com/view/80160.htm
craw 794 : http://baike.baidu.com/view/105988.htm
craw 795 : http://baike.baidu.com/view/54530.htm
craw 796 : http://baike.baidu.com/view/333303.htm
craw 797 : http://baike.baidu.com/view/44065.htm
craw 798 : http://baike.baidu.com/view/313748.htm
craw 799 : http://baike.baidu.com/view/910606.htm
craw 800 : http://baike.baidu.com/view/2196457.htm
craw 801 : http://baike.baidu.com/view/288526.htm
craw 802 : http://baike.baidu.com/view/26942.htm
craw 803 : http://baike.baidu.com/view/1149053.htm
craw 804 : http://baike.baidu.com/view/553274.htm
craw 805 : http://baike.baidu.com/view/4196296.htm
craw 806 : http://baike.baidu.com/view/164289.htm
craw 807 : http://baike.baidu.com/view/323674.htm
craw 808 : http://baike.baidu.com/view/545998.htm
craw 809 : http://baike.baidu.com/view/14449.htm
craw 810 : http://baike.baidu.com/view/89193.htm
craw 811 : http://baike.baidu.com/view/1044776.htm
craw 812 : http://baike.baidu.com/view/928508.htm
craw 813 : http://baike.baidu.com/view/2931465.htm
craw 814 : http://baike.baidu.com/view/14757936.htm
craw 815 : http://baike.baidu.com/view/3021225.htm
craw 816 : http://baike.baidu.com/view/16351.htm
craw 817 : http://baike.baidu.com/view/23177.htm
craw 818 : http://baike.baidu.com/view/274843.htm
craw 819 : http://baike.baidu.com/view/88690.htm
craw 820 : http://baike.baidu.com/view/10700.htm
craw 821 : http://baike.baidu.com/view/8538065.htm
craw 822 : http://baike.baidu.com/view/979603.htm
craw 823 : http://baike.baidu.com/view/685011.htm
craw 824 : http://baike.baidu.com/view/1367984.htm
craw 825 : http://baike.baidu.com/view/587157.htm
craw 826 : http://baike.baidu.com/view/794899.htm
craw 827 : http://baike.baidu.com/view/2039207.htm
craw 828 : http://baike.baidu.com/view/1490321.htm
craw 829 : http://baike.baidu.com/view/35662.htm
craw 830 : http://baike.baidu.com/view/8634.htm
craw 831 : http://baike.baidu.com/view/30493.htm
craw 832 : http://baike.baidu.com/view/5242.htm
craw 833 : http://baike.baidu.com/view/1130583.htm
craw 834 : http://baike.baidu.com/view/38474.htm
craw 835 : http://baike.baidu.com/view/873549.htm
craw 836 : http://baike.baidu.com/view/688587.htm
craw 837 : http://baike.baidu.com/view/60095.htm
craw 838 : http://baike.baidu.com/view/3923.htm
craw 839 : http://baike.baidu.com/view/18765.htm
craw 840 : http://baike.baidu.com/view/11638201.htm
craw 841 : http://baike.baidu.com/view/1037512.htm
craw 842 : http://baike.baidu.com/view/59739.htm
craw failed
craw 842 : http://baike.baidu.com/view/6552084.htm
craw 843 : http://baike.baidu.com/view/337787.htm
craw 844 : http://baike.baidu.com/view/1256385.htm
craw 845 : http://baike.baidu.com/view/3225925.htm
craw 846 : http://baike.baidu.com/view/1116925.htm
craw 847 : http://baike.baidu.com/view/3287082.htm
craw 848 : http://baike.baidu.com/view/999500.htm
craw 849 : http://baike.baidu.com/view/1364083.htm
craw 850 : http://baike.baidu.com/view/270299.htm
craw 851 : http://baike.baidu.com/view/7706.htm
craw 852 : http://baike.baidu.com/view/60584.htm
craw 853 : http://baike.baidu.com/view/285987.htm
craw 854 : http://baike.baidu.com/view/45007.htm
craw 855 : http://baike.baidu.com/view/3311889.htm
craw 856 : http://baike.baidu.com/view/109766.htm
craw 857 : http://baike.baidu.com/view/7323.htm
craw 858 : http://baike.baidu.com/view/69991.htm
craw 859 : http://baike.baidu.com/view/11158473.htm
craw 860 : http://baike.baidu.com/view/3163917.htm
craw 861 : http://baike.baidu.com/view/1263178.htm
craw 862 : http://baike.baidu.com/view/597279.htm
craw 863 : http://baike.baidu.com/view/52057.htm
craw 864 : http://baike.baidu.com/view/58175.htm
craw 865 : http://baike.baidu.com/view/381838.htm
craw 866 : http://baike.baidu.com/view/805176.htm
craw 867 : http://baike.baidu.com/view/178723.htm
craw 868 : http://baike.baidu.com/view/518963.htm
craw 869 : http://baike.baidu.com/view/184163.htm
craw 870 : http://baike.baidu.com/view/6408149.htm
craw 871 : http://baike.baidu.com/view/4637814.htm
craw 872 : http://baike.baidu.com/view/1421620.htm
craw 873 : http://baike.baidu.com/view/82408.htm
craw 874 : http://baike.baidu.com/view/304158.htm
craw 875 : http://baike.baidu.com/view/1004191.htm
craw 876 : http://baike.baidu.com/view/8446486.htm
craw 877 : http://baike.baidu.com/view/358971.htm
craw 878 : http://baike.baidu.com/view/1638.htm
craw 879 : http://baike.baidu.com/view/4257789.htm
craw 880 : http://baike.baidu.com/view/37133.htm
craw 881 : http://baike.baidu.com/view/250855.htm
craw 882 : http://baike.baidu.com/view/849929.htm
craw 883 : http://baike.baidu.com/view/9441552.htm
craw 884 : http://baike.baidu.com/view/312355.htm
craw 885 : http://baike.baidu.com/view/1021898.htm
craw 886 : http://baike.baidu.com/view/2052696.htm
craw 887 : http://baike.baidu.com/view/603384.htm
craw 888 : http://baike.baidu.com/view/287199.htm
craw 889 : http://baike.baidu.com/view/7907351.htm
craw 890 : http://baike.baidu.com/view/116145.htm
craw 891 : http://baike.baidu.com/view/20160.htm
craw 892 : http://baike.baidu.com/view/319976.htm
craw 893 : http://baike.baidu.com/view/1605842.htm
craw 894 : http://baike.baidu.com/view/103801.htm
craw 895 : http://baike.baidu.com/view/296496.htm
craw 896 : http://baike.baidu.com/view/68902.htm
craw 897 : http://baike.baidu.com/view/2398702.htm
craw 898 : http://baike.baidu.com/view/2208576.htm
craw 899 : http://baike.baidu.com/view/89461.htm
craw 900 : http://baike.baidu.com/view/3276196.htm
craw 901 : http://baike.baidu.com/view/769262.htm
craw 902 : http://baike.baidu.com/view/648077.htm
craw 903 : http://baike.baidu.com/view/652289.htm
craw 904 : http://baike.baidu.com/view/303841.htm
craw 905 : http://baike.baidu.com/view/68799.htm
craw 906 : http://baike.baidu.com/view/183142.htm
craw 907 : http://baike.baidu.com/view/1368113.htm
craw 908 : http://baike.baidu.com/view/27055.htm
craw 909 : http://baike.baidu.com/view/4687.htm
craw 910 : http://baike.baidu.com/view/7567554.htm
craw 911 : http://baike.baidu.com/view/1381475.htm
craw 912 : http://baike.baidu.com/view/25402.htm
craw 913 : http://baike.baidu.com/view/16386.htm
craw 914 : http://baike.baidu.com/view/915964.htm
craw 915 : http://baike.baidu.com/view/5053939.htm
craw 916 : http://baike.baidu.com/view/14742.htm
craw 917 : http://baike.baidu.com/view/5225.htm
craw 918 : http://baike.baidu.com/view/1828808.htm
craw 919 : http://baike.baidu.com/view/35448.htm
craw 920 : http://baike.baidu.com/view/230853.htm
craw 921 : http://baike.baidu.com/view/120590.htm
craw 922 : http://baike.baidu.com/view/3814430.htm
craw 923 : http://baike.baidu.com/view/1719388.htm
craw 924 : http://baike.baidu.com/view/42137.htm
craw 925 : http://baike.baidu.com/view/1468347.htm
craw 926 : http://baike.baidu.com/view/925582.htm
craw 927 : http://baike.baidu.com/view/24540.htm
craw 928 : http://baike.baidu.com/view/1128733.htm
craw 929 : http://baike.baidu.com/view/1376197.htm
craw 930 : http://baike.baidu.com/view/192875.htm
craw 931 : http://baike.baidu.com/view/95625.htm
craw 932 : http://baike.baidu.com/view/105446.htm
craw 933 : http://baike.baidu.com/view/49215.htm
craw 934 : http://baike.baidu.com/view/125237.htm
craw 935 : http://baike.baidu.com/view/150331.htm
craw 936 : http://baike.baidu.com/view/530960.htm
craw 937 : http://baike.baidu.com/view/549571.htm
craw 938 : http://baike.baidu.com/view/1270192.htm
craw 939 : http://baike.baidu.com/view/53914.htm
craw 940 : http://baike.baidu.com/view/196620.htm
craw 941 : http://baike.baidu.com/view/238346.htm
craw 942 : http://baike.baidu.com/view/374214.htm
craw 943 : http://baike.baidu.com/view/11086134.htm
craw 944 : http://baike.baidu.com/view/878514.htm
craw 945 : http://baike.baidu.com/view/948412.htm
craw 946 : http://baike.baidu.com/view/787317.htm
craw 947 : http://baike.baidu.com/view/58088.htm
craw 948 : http://baike.baidu.com/view/52978.htm
craw 949 : http://baike.baidu.com/view/4865125.htm
craw 950 : http://baike.baidu.com/view/9584422.htm
craw 951 : http://baike.baidu.com/view/805615.htm
craw 952 : http://baike.baidu.com/view/1353047.htm
craw 953 : http://baike.baidu.com/view/130157.htm
craw 954 : http://baike.baidu.com/view/58244.htm
craw 955 : http://baike.baidu.com/view/840.htm
craw 956 : http://baike.baidu.com/view/151329.htm
craw 957 : http://baike.baidu.com/view/10868760.htm
craw 958 : http://baike.baidu.com/view/3113098.htm
craw 959 : http://baike.baidu.com/view/1800421.htm
craw 960 : http://baike.baidu.com/view/178559.htm
craw 961 : http://baike.baidu.com/view/64883.htm
craw 962 : http://baike.baidu.com/view/4865268.htm
craw 963 : http://baike.baidu.com/view/1021459.htm
craw 964 : http://baike.baidu.com/view/459794.htm
craw 965 : http://baike.baidu.com/view/967280.htm
craw 966 : http://baike.baidu.com/view/1051898.htm
craw 967 : http://baike.baidu.com/view/861834.htm
craw 968 : http://baike.baidu.com/view/958230.htm
craw 969 : http://baike.baidu.com/view/1770681.htm
craw 970 : http://baike.baidu.com/view/148581.htm
craw 971 : http://baike.baidu.com/view/17252.htm
craw 972 : http://baike.baidu.com/view/58036.htm
craw 973 : http://baike.baidu.com/view/345958.htm
craw 974 : http://baike.baidu.com/view/5636568.htm
craw 975 : http://baike.baidu.com/view/661817.htm
craw 976 : http://baike.baidu.com/view/388481.htm
craw 977 : http://baike.baidu.com/view/884432.htm
craw 978 : http://baike.baidu.com/view/144788.htm
craw 979 : http://baike.baidu.com/view/3940.htm
craw 980 : http://baike.baidu.com/view/3153.htm
craw 981 : http://baike.baidu.com/view/1604452.htm
craw 982 : http://baike.baidu.com/view/23920.htm
craw 983 : http://baike.baidu.com/view/25279.htm
craw 984 : http://baike.baidu.com/view/610312.htm
craw 985 : http://baike.baidu.com/view/1982787.htm
craw 986 : http://baike.baidu.com/view/950418.htm
craw 987 : http://baike.baidu.com/view/7293.htm
craw 988 : http://baike.baidu.com/view/1568.htm
craw 989 : http://baike.baidu.com/view/760787.htm
craw 990 : http://baike.baidu.com/view/6429951.htm
craw 991 : http://baike.baidu.com/view/55403.htm
craw 992 : http://baike.baidu.com/view/49674.htm
craw 993 : http://baike.baidu.com/view/4040.htm
craw 994 : http://baike.baidu.com/view/152182.htm
craw 995 : http://baike.baidu.com/view/3264698.htm
craw 996 : http://baike.baidu.com/view/822510.htm
craw 997 : http://baike.baidu.com/view/640046.htm
craw 998 : http://baike.baidu.com/view/281984.htm
craw 999 : http://baike.baidu.com/view/303962.htm
craw 1000 : http://baike.baidu.com/view/5101618.htm

结果：

 <html><body><table><tr><td>http://baike.baidu.com/view/21087.htm</td><td>Python</td><td>
 Python（英国发音：/ˈpaɪθən/ 美国发音：/ˈpaɪθɑːn/）, 是一种面向对象、解释型计算机程序设计语言，由Guido van Rossum于1989年发明，第一个公开发行版发行于1991年。Python是纯粹的自由软件， 源代码和解释器CPython遵循 GPL(GNU General Public License)协议[1]
 。Python语法简洁清晰，特色之一是强制用空白符(white space)作为语句缩进。Python具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中[2]
 有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现。
 </td></tr><tr><td>http://baike.baidu.com/view/16068.htm</td><td>api</td><td>
 API（Application Programming Interface,应用程序编程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。
 </td></tr><tr><td>http://baike.baidu.com/view/53557.htm</td><td>系统资源</td><td>
 。。。。

 </td></tr><tr><td>http://baike.baidu.com/view/5101618.htm</td><td>仝晓</td><td>
 仝晓，小名·臭宝。山西省运城市平陆人，90后最有争议性诗人，草根学者。玄鸟诗社核心成员，代表作有诗歌《有女孩问我》。学术代表：《仝晓浅谈先秦诸子》。所写的文字中总带有四分邪性，坚持诗歌不上任何刊物。
 </td></tr></table></body></html>

目前有个问题：

最后结果在notepad++打开是正常的，用网页打开就是乱码了。。

解决：

把 html_outputer.py 中加上：

fout.write('<meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>')

 #!/usr/bin/python
 # coding=utf-8

 class HtmlOutputer(object):
     """docstring for HtmlOutputer"""
     def __init__(self):
         self.datas = []

     def collect_data(self, data):
         if data is None:
             return
         self.datas.append(data)

     def output_html(self):
         fout = open('output.html', 'w')

         fout.write("<html>")
         fout.write("<head>")
         # charset 编码
         fout.write('<meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>')
         fout.write("</head>")
         fout.write("<body>")
         fout.write("<table>")

         # python 默认 ascii
         for data in self.datas:
             fout.write("<tr>")
             fout.write("<td>%s</td>" % data['url'])
             fout.write("<td>%s</td>" % data['title'].encode('utf-8'))
             fout.write("<td>%s</td>" % data['summary'].encode('utf-8'))
             fout.write("</tr>")

         fout.write("</table>")
         fout.write("</body>")
         fout.write("</html>")

         fout.close()