使用Urllib下载图片

1. urllib下载图片
2. urllib3下载图片

Urllib下载图片

 from urllib import request
 import re
 import os

 #   妹子图首页       下载首页的几张
 url = 'https://www.mzitu.com'
 #   Request对象添加请求头方法一：数据为字典类型
 headers = {
     'User-Agent': 'Mozilla/5.0 (X11; CrOS i686 4319.74.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.57 Safari/537.36 '
 }
 #   创建Request实例 将url和请求头传入
 req = request.Request(url, headers=headers)

 #   发起连接，返回的是一个对象，不使用代理
 data = request.urlopen(req)

 #   用read()方法，读取返回对象中的内容，取出每张图片的url
 img_urls = re.findall("data-original='(.*?)'", data.read().decode())
 #   以数字给图片命名
 name = 1
 #   根据每张图片的url循环下载
 for img_url in img_urls:
     #   每张图片的url
     print(img_url)
     #   创建新的Request对象，将url传入
     req_img = request.Request(url=img_url)
     #   Request对象添加请求头方法二：数据为元组类型
     req_img.add_header('Referer', url)
     img_data = request.urlopen(req_img)
     #   判断是否存在这个目录、是否创建过一次
     if name == 1 and not os.path.exists('urllib_img_test'):
         os.mkdir('urllib_img_test')
     #   判断是否第一次进入文件夹
     if name == 1:
         #   进入创建的文件夹
         os.chdir('urllib_img_test')
     img_name = str(name) + '.jpg'
     #   保存图片
     with open(img_name, 'wb') as f:
         f.write(img_data.read())
     name += 1

Urllib下载图片

Urllib3下载图片

 import urllib3
 import re
 import time
 import os

 #   判断文件夹是否存在，不存在就创建
 if not os.path.exists('urllib3_img_test'):
     os.mkdir('urllib3_img_test')
 #   进入文件夹
 os.chdir('urllib3_img_test')

 #   妹子图首页   下载首页几个主题里面的所有图片
 url = 'https://www.mzitu.com'
 #   禁用警告
 urllib3.disable_warnings()
 req = urllib3.PoolManager()
 #   添加请求头
 headers = {
     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20130328 Firefox/21.0'
 }
 #   发起请求
 res = req.request('get', url, headers=headers)
 #   取出数据
 datas = re.findall('<li><a href=.*</li>',res.data.decode())

 for data in datas:
     #   进入各个主题的url    取出的两个url是一样的，选一个就行了
     type_imgs = re.findall('href="(.*?)"',data)[0]
     #   主题的标题，取出来做文件夹名称
     type_name = re.findall(" alt='(.*?)'",data)[0]
     #   判断标题里是否有+，加斜杆转义，不影响正则判断
     if '+' in type_name:
         type_name = type_name.replace('+', '\+')
     print(type_name,type_imgs)
     #   进入各个主题，下载主题里的所有图片
     type_data = req.request('get',type_imgs,headers=headers).data.decode()
     #   图片的url
     url_img = re.findall('{}.*" ><img src="(.*?)".*{}'.format(type_imgs, type_name), type_data)
     #   每个主题的图片数量
     num = int(re.findall('上一组.*<span>(.*)</span>.*下一页', type_data)[0])
     for i in range(1, num + 1):
         #   每张图片的url    在主题url后面加数字
         url_img = type_imgs + '/' + str(i)
         print(url_img)
         #   对每张图片的url发起请求
         temp_url = req.request('get', url_img, headers=headers).data.decode()
         #   每张图片的url
         urls_img = re.findall('{}.*src="(.*?)".*{}'.format('https://www.mzitu.com', type_name), temp_url)[0]
         print(urls_img)
         #   请求头添加 referer
         headers = {
             'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20130328 Firefox/21.0',
             'Referer': url_img
         }
         #   获得图片的内容，保存到本地
         img_content = req.request('get', urls_img, headers=headers).data
          #   判断标题里是否有斜杆，有就去掉
         if '\\' in type_name:
             type_name = type_name.replace('\\','')
         #   判断文件夹是否存在，不存在就创建
         if i ==1 and not os.path.exists(type_name):
             os.mkdir(type_name)
         #   进入文件夹
         os.chdir(type_name)
         img_name = str(i) +'.jpg'
         with open(img_name, 'wb') as f:
             f.write(img_content)
         time.sleep(0.2)
         #   返回上一级菜单创建新的文件夹下载其它主题的图片
         os.chdir('..')
     time.sleep(0.2)

Urllib3下载图片