Crawl(2)

http://cuiqingcai.com/3179.html

 # *-* coding: UTF-8 *-*
 import urllib2
 import cookielib
 import re
 import time
 import os

 ####################################
 #cookie
 cookie = cookielib.CookieJar()
 handler = urllib2.HTTPCookieProcessor(cookie)
 opener = urllib2.build_opener(handler)
 #####
 def mkdir(path):
     path = path.strip()
     # 判断路径是否存在
     # 存在    True
     # 不存在  Flase
     isExists = os.path.exists(path)
     if not isExists:
         print u'新建了名字叫做',path,u'的文件夹'
         # 创建目录操作函数
         os.makedirs(path)
         return True
     else:
         # 如果目录存在则不创建，并提示目录已经存在
         print u'名为',path,u'的文件夹已经创建成功'
         return False
 #####
 def saveImages(imglist,name):
     print u'共 %s张图片' %len(imglist)
     number = 1
     for imageURL in imglist:
         fileName = name + "/" + str(number) + ".jpg"
         # 对于每张图片地址，进行保存
         try:
             u = urllib2.urlopen(imageURL, timeout = 10)
             print ''
             data = u.read()
             print ''
             f = open(fileName,'wb+')
             print ''
             f.write(data)
             print u'正在保存的一张图片为',fileName
             f.close()
         except Exception, e:
             print Exception,":",e
         break
         #保存封面，大图一般太大，截图过大，容易超时
         number += 1
 #####
 if __name__ == '__main__':
     patter = r'<span id="thread_(\d{7})">'
     reg = re.compile(patter)
     for i in range(1, 5):#前5页
         if i%10 == 0: print 'now is %s' %i
         req = urllib2.Request('http://38.103.161.179/forum/forumdisplay.php?fid=230&filter=type&typeid=172&page=%s' %str(i))
         html = unicode(opener.open(req).read(), 'gbk')
         tar = reg.findall(html)

         for jpos, j in enumerate(tar):#遍历所有子链接
             req2 = urllib2.Request('http://38.103.161.179/forum/viewthread.php?tid='+j)
             html2 = unicode(opener.open(req2).read(), 'gbk')
             endpos = html2.index(u'附件</h4>')
             stapos = html2.index(u'格式')
             html2 = html2[stapos:endpos]
             #print html2
             patter2 = r'src="(.+?\.jpg)"'
             reg2 = re.compile(patter2)
             tar2 = reg2.findall(html2)
             path = u'图集'+str(i)+u'之图'+str(jpos)
             mkdir(path)
             saveImages(tar2, path)
     exit()

感谢weiyinfu学长指出。

urllib2用requests替代。

解析页面re用BeautifulSoup替代。

scrapy框架。

遇到验证码，用PIL，opencv，pybrain等。

多线程threading，python并行库框架celery。