python应用：爬虫实例(动态网页)

以爬取搜狗图片为例，网页特点：采用“瀑布流”的方式加载图片，图片的真实地址存放在XHR中

 #-*-coding:utf8-*-
 import requests
 import urllib
 import json
 import math
 import os
 
 class SG:
     def __init__(self,pic_num):
         self.num = pic_num
         self.user_agent = 'Mozilla/5.0 (Windows NT 6.1; W…) Gecko/20100101 Firefox/61.0'      #请求头属性（模拟浏览器访问）
         self.headers = {'User-Agent' : self.user_agent}
 
     def get_img(self):
         end = int(math.ceil(float(self.num)/48))
         #print end
         name = 1
         #获取图片真实地址并保存到本地文件夹
         for start in range (0,end):
             url = 'http://pic.sogou.com/pics?query=%B1%DA%D6%BD&mode=1&dm=4&cwidth=1920&cheight=1080&start='+str(start)+'&reqType=ajax&reqFrom=result&tn=0'
             imgs = requests.get(url,params=self.headers)
             #print imgs
             #搜狗图片真实地址存放在XHR中，访问发现是json文件，故解析json文件
             jd = json.loads(imgs.text)
             jd = jd['items']    #所有图片的信息都存在item数组中
             imgs_url = []
             for j in jd:
                 if "=" not in j['pic_url']:  #图片真实地址则存放在item元素中pic_url中
                     imgs_url.append(j['pic_url'])
                 else:
                     print j['pic_url']
             #print len(imgs_url)
 
             for img_url in imgs_url:
                 #新建文件夹
                 if not os.path.exists('picture'):
                     os.makedirs('picture')
                 print img_url
 
                 #保存图片到本地文件夹
                 print('**********'+str(name)+'_1.jpg*********'+'      Downloading')
                 #方法1
                 urllib.urlretrieve(img_url,'picture\\'+str(name)+'_1.jpg')
 
                 print('**********'+str(name)+'_2.jpg*********'+'      Downloading')
                 #方法2  'wb'以二进制方式写数据
                 with open('picture\\'+str(name)+'_2.jpg','wb') as f:
                     f.write(requests.get(img_url,params=self.headers,allow_redirects=False).content)
 
                 name += 1
 
         print('Download complete!')
 
 SG(100).get_img()

使用方法二时，如果使用参数allow_redirects=False,容易导致下载内容为空的情况；如果不使用该参数（默认是True），则容易导致页面重定向过多的错误。具体使用时，根据情况选择是否使用