Python简易爬虫爬取百度贴吧图片

　　

　　　通过python 来实现这样一个简单的爬虫功能，把我们想要的图片爬取到本地。(Python版本为3.6.0)

一.获取整个页面数据

　　

def getHtml(url):
    page=urllib.request.urlopen(url)
    html=page.read()
    return html

　说明:　

　　向getHtml()函数传递一个网址，就可以把整个页面下载下来.
　　urllib.request 模块提供了读取web页面数据的接口，我们可以像读取本地文件一样读取www和ftp上的数据.

二.筛选页面中想要的数据

　　在百度贴吧找到了几张漂亮的图片,想要下载下来.使用火狐浏览器,在图片位置鼠标右键单单击有查看元素选项,点进去之后就会进入开发者模式,并且定位到图片所在的前段代码

现在主要观察图片的正则特征,编写正则表达式.

reg=r'src="(https://imgsa[^>]+\.(?:jpeg|jpg))"'
#参考正则

编写代码

def getImg(html):
    reg=r'src="(https://imgsa[^>]+\.(?:jpeg|jpg))"'
    imgre = re.compile(reg)
    imglist = re.findall(imgre,html.decode('utf-8'))
    return imglist

说明:

　　　re.compile() 可以把正则表达式编译成一个正则表达式对象.

　　　re.findall() 方法读取html 中包含 imgre（正则表达式）的数据。

　　　　 运行脚本将得到整个页面中包含图片的URL地址。

三.将页面筛选的数据保存到本地

　　编写一个保存的函数

def saveFile(x):
    if not os.path.isdir(path):
        os.makedirs(path)
    t = os.path.join(path,'%s.img'%x)
    return  t

完整代码:

'''
Created on 2017年7月15日

@author: Administrator
'''
import urllib.request,os
import re

def getHtml(url):
    page=urllib.request.urlopen(url)
    html=page.read()
    return html

path='D:/workspace/Python1/reptile/__pycache__/img'

def saveFile(x):
    if not os.path.isdir(path):
        os.makedirs(path)
    t = os.path.join(path,'%s.img'%x)
    return  t

html=getHtml('https://tieba.baidu.com/p/5248432620')

print(html)

print('\n')

def getImg(htnl):
    reg=r'src="(https://imgsa[^>]+\.(?:jpeg|jpg))"'
    imgre=re.compile(reg)
    imglist=re.findall(imgre,html.decode('utf-8'))
    x=
    for imgurl in imglist:
        urllib.request.urlretrieve(imgurl,saveFile(x))
        print(imgurl)
        x+=
        if x==:
            break
    print(x)
    return imglist

getImg(html)
print('end')

核心是用到了urllib.request.urlretrieve()方法，直接将远程数据下载到本地

最后,有点问题还没有完全解决,这里也向大家请教一下.

　　当下载图片超过23张时会报错:

　　　　urllib.error.HTTPError: HTTP Error 500: Internal Server Error
　　不知道是什么问题,求助.