python爬虫之浅析验证码

一、什么是验证码？

　　验证码（CAPTCHA）是“Completely Automated Public Turing test to tell Computers and Humans Apart”（全自动区分计算机和人类的图灵测试）的缩写。 是一种用来区分用户是计算机还是人的公共全自动程序。

二、验证码的作用

　　验证码是一种人机识别手段，最终目的是区分正常用户和机器的操作。 可以防止：恶意破解密码、注册、刷票、论坛灌水，防止黑客对用户的密码进行暴力破解。 一般是提出一个问题，这个问题可以由计算机生成并评判，但是必须只有人类才能解答。由于计算机无法解答这个的问题，所以回答出问题的用户就可以被认为是人类。

三、验证码类别

　　验证码自面世以来就一直在更新，迭代。

　　图形验证码：这类验证码大多是计算机随机产生一个字符串，在把字符串增加噪点、干扰线、变形、重叠、不同颜色、扭曲组成一张图片来增加识别难度。

　　滑动验证码：也叫行为验证码，比较流行的一种验证码，通过用户的操作行为来完成验证，其中最出名的就是极验。 滑动验证码的原理就是使用机器学习中的深度学习技术，根据一些特征来区分是否为正常用户。通过记录用户的滑动速度，还有每一小段时间的瞬时速度，用户鼠标点击情况，以及滑动后的匹配程度来识别。而且，不是说滑动到正确位置就是验证通过，而是根据特征识别来区分是否为真用户，滑到正确位置只是一个必要条件。

　　点触验证码：点击类验证码都是给出一张包含文字的图片，通过文字提醒用户点击图中相同字的位置进行验证。

四、爬虫之对验证码的处理

　　目前，图形验证码和点触验证码基本可以通过打码平台（超级鹰、打码兔等）进行破解，而滑动验证码相对比较难以一破解，如果缺口图与周围的颜色对比度比较明显，则可以通过灰度化、二值化和简单的算法算出滑动的距离，而如果对比度比较差（爱奇艺滑动验证码），则难度比较大。

　　对验证码进行灰度化、二值化的处理，一般使用python的pillow库比较好

　　1、Pillow库

　　PIL库：PIL (Python Image Library) 已经算是 Python 处理图片的标准库了，兼具强大的功能和简洁的 API. 但是PIL库的更新非常缓慢， 并且它只支持到python2.7，不支持python3

　　Pillow库：由于PIL库更新太慢了，于是于是一群志愿者在PIL库的基础上创建了一个新的分支版本，命名为Pillow. Pillow目前最新支持到python3.6，它的维护和开发十分活跃，兼容PIL库的绝大多数语法，并且增加了许多新的特性，推荐直接使用Pillow

　　注意点：Pillow和PIL不能共存在一个环境中，如果你之前安装了PIL的话，需要删除掉才能在安装Pillow 由于是继承自PIL的分支， 所以Pillow库的导入是这样的 Import PIL

　　2、PIL中所涉及的基本概念：通道(bands)、尺寸(size)、坐标系统(coordinate system)

　　尺寸：图片尺寸（size）指的是图片的宽度和高度 通过size属性可以获取图片的尺寸，它的返回值是一个元祖，元祖里面有两个值，分别是水平和垂直方向上的像素个数

　　通道：每张图片都是由一个或者多个数据通道构成，如果这些通道具有相同的维数和深度，PIL允许将这些通道进行叠加 以RGB图像为例，每张图片都是由三个数据通道叠加构成，分别为R 、G 、B。 PNG图像打开为有RGBA四个通道，A代表透明度 对于灰度图像（没有色彩的图片， RGB色彩分量全部相等），只有一个通道。 灰度指的是黑白图像中点的颜色深度，范围一般是0到255， 白色为255，黑色为0

　　坐标系统(coordinate system)：PIL使用笛卡尔像素坐标系统，图像的左上角为左边的原点（0，0），这就意味着，x轴的数值是从左到右增长的，y轴的数值是从上到下增长的。 在我们处理图像的时候，常常需要去表示一个矩形的图像区域。Pillow中很多方法都需要传入一个表示矩形区域的元祖 这个元祖包含四个值，分别表示矩形四条边距离x轴或者y轴的距离。顺序是（左，顶，右，底） 例如，一个800x600的像素图像表示为（0， 0， 800， 600）

　　3、PIL操作图像

　　Image是Pillow中最为重要的类，实现了Pillow中大部分的功能，

　　创建这个类的实例主要有三个方式：

　　　　1.从文件中加载图像

　　　　2.创建一个新的图像

　　　　3.处理其他的图像获得

　　　　安装pillow库：pip install pillow -i http://pypi.douban.com/simple

　　　    对于一张图片的通道数量和名称，可以通过方法getbands()来获取。方法getbands()是PIL中Image子模块的方法，它会返回一个字符串组成的元祖，元祖中包括了每一个通道的名称。

　　　　from PIL import Image

　　　　im = Image.open('test.jpg’)

　　　　print(im.getbands())

　　　　输出： （’R’, ‘G’, ‘B’）

　　4、简单验证码处理

　　　　灰度化：

　　　　像素点是最小的图片单元，一张图片由很多像素点构成，一个像素点的颜色是由RGB三个值来表现的，所以一个像素点对应三个颜色向量矩阵，我们对图像的处理就是对这个像素点的操作。

　　　　图片的灰度化，就是让像素点矩阵中的每一个像素点满足 R=G=B，此时这个值叫做灰度值，白色为0，黑色为255

　　　　灰度转化一般公式为： R=G=B = 处理前的 RX0.3 + GX0.59 + B*0.11

from PIL import Image

img = Image.open("test.png")

img = img.convert("L")

　　　　二值化：

　　　　图像的二值化，就是将图像的像素点矩阵中的每个像素点的灰度值设置为0（黑色）或255（白色），从而实现二值化，将整个图像呈现出明显的只有黑和白的视觉效果。 二值化原理是利用设定的一个阈值来判断图像像素是0还是255， 一般小于阈值的像素点变为0， 大于的变成255 这个临界灰度值就被称为阈值，阈值的设置很重要，阈值过大或过小都会对图片造成损坏 选择阈值的原则是：既要尽可能保存图片信息，又要尽可能减少背景和噪声的干扰

　　　　常用阈值选择的方法是：

　　　　灰度平局值法： 取127 （0~255的中数， （0+255）/2 = 127）

from PIL import Image

img = Image.open("test.png")

img = img.convert("L")

w, h = img.size

iarray = img.load()

average = 127

for i in range(h):
    for j in range(w):
        if iarray[j, i] > average:
            iarray[j, i] = 255
        else:
            iarray[j, i] = 0

　　　　平均值法： 计算像素点矩阵中的所有像素点的灰度值的平均值avg

from PIL import Image

img = Image.open("test.png")

img = img.convert("L")

w, h = img.size

iarray = img.load()

average = 0

s = 0

for i in range(h):
    for j in range(w):
        s += iarray[j, i]

average = int(s / (w * h))

for i in range(h):
    for j in range(w):
        if iarray[j, i] > average:
            iarray[j, i] = 255
        else:
            iarray[j, i] = 0

　　　　迭代法： 选择一个近似阈值作为估计值的初始值，然后进行分割图像，根据产生的子图像的特征来选取新的阈值，在利用新的阈值分割图像，经过多次循环，使得错误分割的图像像素点降到最小。

　　　　降噪：经过了二值化处理，整个图片像素就被分为了两个值0和255， 如果一个像素点是图片或者干扰因素的一部分，那么她的灰度值一定是0（黑色），如果一个点是背景，其灰度值应该是255，白色 所以对于孤立的噪点，他的周围应该都是白色，或者大多数点都是白色的，所以在判断的时候条件应该放宽，一个点是黑色并且相邻的点为白色的点的个数大于一个固定的值，那么这个点就是噪点。 我们根据一个点A的RGB值，与周围的8个点的RBG值比较，设定一个值N（0 <N <8），当A的RGB值与周围8个点的RGB相等或者小于N时，此点为噪点

from PIL import Image
import pytesseract
import tesserocr

def gray(image):
    new_image = Image.new("RGB", image.size, "red")
    narray = new_image.load()
    iarray = image.load()
    w, h = new_image.size
    for i in range(h):
        for j in range(w):
            v = int(0.3*iarray[j, i][0] + 0.59*iarray[j, i][1] + 0.11*iarray[j, i][2])
            narray[j, i] = (v, v, v)
    return new_image

pytesseract.pytesseract.tesseract_cmd = "D:\\Tesseract-OCR\\tesseract.exe"

image = Image.open(r"E:\vscode\Python\homework.png")

# 灰度化
image = image.convert("L")
# image = gray(image)

# 二值化
w, h = image.size
iarray = image.load()
# 域值
avg = 127
s = 0
for i in range(h):
    for j in range(w):
        s += iarray[j ,i]
avg = s / (w * h)
print(avg)
avg = 137
for i in range(h):
    for j in range(w):
        if iarray[j, i] > avg:
            iarray[j, i] = 255
        else:
            iarray[j, i] = 0
for i in range(4):  # 降噪率
    # 降噪
    for i in range(h):
        for j in range(w):
            count = 0
            # 图片边缘处理
            if i == 0 or i == (h - 1) or j == 0 or j == (w - 1):
                iarray[j, i] == 255
                continue
            # 仅处理黑点
            if iarray[j, i] > 200:
                continue
            if iarray[j-1, i-1] > 200:
                    count += 1
            if iarray[j-1, i] > 200:
                count += 1
            if iarray[j-1, i+1] > 200:
                count += 1
            if iarray[j, i-1] > 200:
                    count += 1
            if iarray[j, i+1] > 200:
                count += 1
            if iarray[j+1, i-1] > 200:
                    count += 1
            if iarray[j+1, i] > 200:
                count += 1
            if iarray[j+1, i+1] > 200:
                count += 1

            if count > 4:
                iarray[j ,i] = 255

res = pytesseract.image_to_string(image)
print(res)
image.show()

　　5、识别

　　OCR （Optical Character Recognition）光学字符识别， 指的是对文本资料的图像文件进行分析识别处理，获取文集及版面信息的过程 Tesseract-OCR是一个开源的字符识别引擎，我们可以用他来识别一些简单的验证码。 Windows安装： 安装文件在 Linux安装： sudo apt-get install tesseract-ocr sudo apt-get install libtesseract-dev Mac安装： brew install tesseract Pytesser3是一个在Python内使用Tesseract-Ocr的库，安装非常简单： pip install Pytesseract 然后需要进行配置， 将pytesseract包下面__init__文件内tesseract_exe_name的值设置为为你的tesseract.exe的路径,或者在代码中指定

　　代码同上，但由于识别度不高，使用打码平台更可靠一些。