CNN基础一：从头开始训练CNN进行图像分类（猫狗大战为例）

本文旨在总结一次从头开始训练CNN进行图像分类的完整过程（猫狗大战为例，使用Keras框架），免得经常遗忘。流程包括：

从Kaggle下载猫狗数据集；
利用python的os、shutil库，制作训练集和测试集；
快速开发一个小模型作为基准；（只要效果比随机猜略好即可，通常需要有一点过拟合）
根据基准表现进行改进，比如针对过拟合的图像增强、正则化等。

1 从Kaggle下载猫狗数据集

2 制作数据集

从Kaggle下载的猫狗数据集大概八百多兆，其中训练集包含25000张猫狗图，两类数量各占一半。为了快速上手项目，可以从原始训练集中抽取一部分数据，来制作本次项目的数据集D，其中包含三个子集：两个类别各1000个样本的训练集（构造一个平衡的二分类问题），两个类别各500个样本的验证集，两个类别各500个样本的测试集。代码如下：

"""

代码功能：在目标文件夹下建立三个子文件夹（train、validation、test），在每个子文件夹下再分别建立两个子文件夹（cats、dogs），以存放从原始训练集中抽取的图像

"""

import os, shutil

original_dataset_dir = r'D:\KaggleDatasets\competitions\dogs-vs-cats\train' #在我磁盘上解压的文件夹

base_dir = r'D:\KaggleDatasets\MyDatasets\dogs-vs-cats-small'  #在我磁盘上的目标文件夹

##############以下是创建文件夹并复制图像#######################

#创建训练集文件夹

train_cats_dir = os.path.join(base_dir, 'train\cats')

train_dogs_dir = os.path.join(base_dir, 'train\dogs')

os.makedirs(train_cats_dir)

os.makedirs(train_dogs_dir) #与os.mkdir的区别是会自动创建中间路径；若文件夹已存在，则都会报错

#创建验证集文件夹

validation_cats_dir = os.path.join(base_dir, 'validation\cats')

validation_dogs_dir = os.path.join(base_dir, 'validation\dogs')

os.makedirs(validation_cats_dir)

os.makedirs(validation_dogs_dir)

#创建测试集文件夹

test_cats_dir = os.path.join(base_dir, 'test\cats')

test_dogs_dir = os.path.join(base_dir, 'test\dogs')

os.makedirs(test_cats_dir)

os.makedirs(test_dogs_dir)

#将原始训练集中前1000张猫图复制到train_cats_dir

fnames = ['cat.{}.jpg'.format(i) for i in range(1000)] #前1000张猫图名称列表

for fname in fnames:

    scr = os.path.join(original_dataset_dir, fname)

    dst = os.path.join(train_cats_dir, fname)

    shutil.copyfile(scr, dst)

#将之后的500张猫图复制到validation_cats_dir

fnames = ['cat.{}.jpg'.format(i) for i in range(1000, 1500)]

for fname in fnames:

    scr = os.path.join(original_dataset_dir, fname)

    dst = os.path.join(validation_cats_dir, fname)

    shutil.copyfile(scr, dst)

#将再之后的500张猫图复制到test_cats_dir

fnames = ['cat.{}.jpg'.format(i) for i in range(1500, 2000)]

for fname in fnames:

    scr = os.path.join(original_dataset_dir, fname)

    dst = os.path.join(test_cats_dir, fname)

    shutil.copyfile(scr, dst)

#同理，对狗狗图做同样处理

fnames = ['dog.{}.jpg'.format(i) for i in range(1000)]

for fname in fnames:

    scr = os.path.join(original_dataset_dir, fname)

    dst = os.path.join(train_dogs_dir, fname)

    shutil.copyfile(scr, dst)

fnames = ['dog.{}.jpg'.format(i) for i in range(1000, 1500)]

for fname in fnames:

    scr = os.path.join(original_dataset_dir, fname)

    dst = os.path.join(validation_dogs_dir, fname)

    shutil.copyfile(scr, dst)

fnames = ['dog.{}.jpg'.format(i) for i in range(1500, 2000)]

for fname in fnames:

    scr = os.path.join(original_dataset_dir, fname)

    dst = os.path.join(test_dogs_dir, fname)

    shutil.copyfile(scr, dst)

3 快速开发基准模型

面对一个任务，通常需要快速验证想法，并不断迭代。因此开发基准模型通常需要快速，模型能跑起来，效果比随机猜测好一些就行，不用太在意细节。至于正则化、图像增强、参数选取等操作，后续会根据需要来进行。

####################模型搭建与编译#################################

from keras.models import Model

from keras.layers import Input, Dense, Conv2D, MaxPooling2D, Flatten, Dropout

def build_model():

    input = Input(shape=(150, 150, 3))

    X = Conv2D(32, (3,3), activation='relu')(input)

    X = MaxPooling2D((2,2))(X)

    X = Conv2D(64, (3,3), activation='relu')(X)

    X = MaxPooling2D((2,2))(X)

    X = Conv2D(128, (3,3), activation='relu')(X)

    X = MaxPooling2D((2,2))(X)

    X = Conv2D(128, (3,3), activation='relu')(X)

    X = MaxPooling2D((2,2))(X)

    X = Flatten()(X)

    X = Dense(512, activation='relu')(X)

    X = Dense(1, activation='sigmoid')(X)

    model = Model(inputs=input, outputs=X)

    return model

model = build_model()

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

#model.summary()

#########使用图像生成器读取文件中数据（内存一次无法加载全部图像）###########

#ImageDataGenerator就像一个把文件中图像转换成所需格式的转接头，通常先定制一个转接头train_datagen，它可以根据需要对图像进行各种变换，然后再把它怼到文件中（flow方法是怼到array中），约定好出来数据的格式（比如图像的大小、每次出来多少样本、样本标签的格式等等）。这里出来的train_generator是个（X,y）元组，X的shape为(20,150,150,3)，y的shape为(20,)

from keras.preprocessing.image import ImageDataGenerator

train_datagen = ImageDataGenerator(rescale=1./255) #之后可能会在这里进行图像增强

test_datagen = ImageDataGenerator(rescale=1./255) #注意验证集不可用图像增强

batch_size = 20

train_dir = r'D:\KaggleDatasets\MyDatasets\dogs-vs-cats-small\train'

validation_dir = r'D:\KaggleDatasets\MyDatasets\dogs-vs-cats-small\validation'

train_generator = train_datagen.flow_from_directory(train_dir, target_size=(150,150),

           batch_size=batch_size,class_mode='binary')

validation_generator = test_datagen.flow_from_directory(validation_dir,

           target_size=(150,150), batch_size=batch_size, class_mode='binary')

#######################开始训练####################################

epochs = 100

steps_per_epoch = 2000 / batch_size

validation_steps = 1000 / batch_size

H = model.fit_generator(train_generator,

                        epochs=epochs,

                        steps_per_epoch=steps_per_epoch,

                        validation_data=validation_generator,

                        validation_steps=validation_steps)

#保存模型

model.save('cats_and_dogs_small_1.h5')

print("The trained model has been saved.")

##模型评估

test_dir = r'D:\KaggleDatasets\MyDatasets\dogs-vs-cats-small\test'

test_generator = test_datagen.flow_from_directory(test_dir,

                target_size=(150,150), batch_size=20, class_mode='binary')

score = model.evaluate_generator(test_generator, steps=50)

print("测试损失为：{:.4f}".format(score[0]))

print("测试准确率为：{:.4f}".format(score[1]))

######################结果可视化#############################

import matplotlib.pyplot as plt

loss = H.history['loss']

acc = H.history['acc']

val_loss = H.history['val_loss']

val_acc = H.history['val_acc']

epoch = range(1, len(loss)+1)

fig, ax = plt.subplots(1, 2, figsize=(10,4))

ax[0].plot(epoch, loss, label='Train loss')

ax[0].plot(epoch, val_loss, label='Validation loss')

ax[0].set_xlabel('Epochs')

ax[0].set_ylabel('Loss')

ax[0].legend()

ax[1].plot(epoch, acc, label='Train acc')

ax[1].plot(epoch, val_acc, label='Validation acc')

ax[1].set_xlabel('Epochs')

ax[1].set_ylabel('Accuracy')

ax[1].legend()

plt.show()

训练结果如下图所示，很明显模型上来就过拟合了，主要原因是数据不够，或者说相对于数据量，模型过复杂（训练损失在第15个epoch就降为0了）。

4 根据基准模型进行调整

为了解决过拟合问题，可以减小模型复杂度，也可以用一系列手段去对冲，比如增加数据（图像增强、人工合成或者多搜集真实数据）、L1/L2正则化、dropout正则化等。这里主要介绍CV中最常用的图像增强。

4.1 图像增强方法

在Keras中，可以利用图像生成器很方便地定义一些常见的图像变换。将变换后的图像送入训练之前，可以按变换方法逐个看看变换的效果。代码如下：

#######################查看数据增强效果#########################

from keras.preprocessing import image

import numpy as np

#定义一个图像生成器

datagen = ImageDataGenerator(

            rotation_range=40,

            width_shift_range=0.2,

            height_shift_range=0.2,

            shear_range=0.2,

            zoom_range=0.2,

            horizontal_flip=True,

            fill_mode='nearest')

#生成所有猫图的路径列表

train_cats_dir = os.path.join(train_dir, 'cats')

fnames = [os.path.join(train_cats_dir, fname) for fname in os.listdir(train_cats_dir)]

#选一张图片，包装成(batches, 150, 150, 3)格式

img_path = fnames[1]

img = image.load_img(img_path, target_size=(150,150)) #读入一张图像

x_aug = image.img_to_array(img) #将图像格式转为array格式

x_aug = np.expand_dims(x_aug, axis=0) #(1, 150, 150, 3) array格式

#对选定的图片进行增强，并查看效果

fig = plt.figure(figsize=(8,8))

k = 1

for batch in datagen.flow(x_aug, batch_size=1):  #注意生成器的使用方式

    ax = fig.add_subplot(3, 3, k)

    ax.imshow(image.array_to_img(batch[0])) #当x_aug中样本个数只有一个时，即便batch_size=4，也只能获得一个样本，所以batch[1]会出错

    k += 1

    if k > 9:

        break

效果如下：

4.2 模型调整方法

这里暂时先采用两种方法进行改进：一是将这几种选定的图像增强方法添加进训练集的生成器中（train_datagen）；二是在模型结构中加入一层Dropout（在Flatten层后加上 Dropout(0.5)）。调整并重新训练后发现30个epoch还不够，损失函数还在持续下降，于是改为100个epoch。重新训练后的结果如图所示。可以看出，准确率由基准的67%提高到82%，进一步调整模型还可以提升到86%左右。但是进一步就再难以继续提升了，因为数据太少，且模型比较粗糙，下一节我们会采取其他更有效的措施。

5 知识点小结

如何从Kaggle上下载公开数据集；
如何根据原始图像制作小型数据集；
如何使用图像生成器读取文件中图片，并送入训练；
如何进行数据增强，并查看增强的效果；
如何将训练结果可视化。

另外，关于CNN模型的架构，通常有一些经验：

从前往后，特征图需要适当的下采样。一方面减少参数，另一方面也可以增大后侧特征图像素的感受野。
下采样的方法可以采用带步长的卷积、平均池化或最大池化，但最大池化往往比前两种方法好，因为CNN的本质就在于用卷积核中的特征去匹配前一层的图像或特征图，前两种方法可能会错过或淡化特征是否存在的信息。

Reference

Python深度学习