0902-用GAN生成动漫头像
0902-用GAN生成动漫头像
pytorch完整教程目录:https://www.cnblogs.com/nickchen121/p/14662511.html
一、概述
本节将通过 GAN 实现一个生成动漫人物头像的例子。
在日本的技术博客网站上有个博主,利用 DCGAN 从 20 万张动漫头像中学习,最终能够利用程序自动生成动漫头像。源程序是利用 Chainer 框架实现的,在这里我们将尝试利用 Pytorch 实现。
原始的图片是从网站中采集的,并利用 OpenCV 截取头像,处理起来非常麻烦。因此我们在这里通过之乎用户 何之源 爬取并经过处理的 5 万张图片,想要图片的百度网盘链接的可以加我微信:chenyoudea。需要注意的是,这里图片的分辨率是 3×96×96,而不是论文中的 3×64×64,因此需要相应地调整网络结构,使生成图像的尺寸为 96。
二、代码结构
下面我们首先来看下我们未来的一个代码结构。
checkpoints/ # 无代码,用来保存模型
imgs/ # 无代码,用来保存生成的图片
data/ # 无代码,用来保存训练所需要的图片
main.py # 训练和生成
model.py # 模型定义
visualize.py # 可视化工具 visdom 的开发
requirement.txt # 程序中用到的第三方库
README.MD # 说明
三、model.py
model.py 主要是用来定义生成器和判别器的。
3.1 生成器
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# Coding by https://www.cnblogs.com/nickchen121/
# Datatime:2021/5/10 10:37
# Filename:model.py
# Toolby: PyCharm
from torch import nn
class NetG(nn.Module):
"""
生成器定义
"""
def __init__(self, opt):
super(NetG, self).__init__()
ngf = opt.ngf # 生成器 feature map 数
self.main = nn.Sequential(
# 输入是 nz 维度的噪声,可以认识它是一个 nz*1*1 的 feature map
# H_{out} = (H_{in}-1)*stride - 2*padding + kernel_size
# 以下面一行代码的ConvTranspose2d举例(初始 H_{in}=1):H_{out} = (1-1)*1-2*0+4 = 4
nn.ConvTranspose2d(opt.nz, ngf * 8, (4, 4), (1, 1), (0, 0), bias=False),
nn.BatchNorm2d(ngf * 8),
nn.ReLU(True),
# 上一步的输出形状:(ngf*8)*4*4,其中(ngf*8)是输出通道数,4 为 H_{out} 是通过上述公式计算出来的
# 以下面一行代码的ConvTranspose2d举例(初始 H_{in}=4):H_{out} = (4-1)*2-2*1+4 =8
nn.ConvTranspose2d(ngf * 8, ngf * 4, (4, 4), (2, 2), (1, 1), bias=False),
nn.BatchNorm2d(ngf * 4),
nn.ReLU(True),
# 上一步的输出形状:(ngf*4)*8*8
nn.ConvTranspose2d(ngf * 4, ngf * 2, (4, 4), (2, 2), (1, 1), bias=False),
nn.BatchNorm2d(ngf * 2),
nn.ReLU(True),
# 上一步的输出形状是:(ngf*2)*16*16
nn.ConvTranspose2d(ngf * 2, ngf, (4, 4), (2, 2), (1, 1), bias=False),
nn.BatchNorm2d(ngf),
nn.ReLU(True),
# 上一步的输出形状:(ngf)*32*32
nn.ConvTranspose2d(ngf, 3, (5, 5), (3, 3), (1, 1), bias=False),
nn.Tanh()
# 输出形状:3*96*96
)
def forward(self, inp):
return self.main(inp)
从上述生成器的代码可以看出生成器的构建比较简单,直接用 nn.Sequential
把上卷积、激活等操作拼接起来就行了。这里稍微注意下 ConvTranspose2d 的使用,当 kernel size 为 4、stride 为 2、padding 为 1 时,根据公式 \(H_{out} = (H_{in}-1)*stride - 2*padding + kernel_size\),输出尺寸刚好变成输入的两倍。
最后一层我们使用了 tanh 把输出图片的像素归一化至 -1~1,如果希望归一化到 0~1,可以使用 sigimoid 方法。
3.2 判别器
class NetD(nn.Module):
"""
判别器定义
"""
def __init__(self, opt):
super(NetD, self).__init__()
ndf = opt.ndf
self.main = nn.Sequential(
# 输入 3*96*96
nn.Conv2d(3, ndf, (5, 5), (3, 3), (1, 1), bias=False),
nn.LeakyReLU(0.2, inplace=True),
# 输出 (ndf)*32*32
nn.Conv2d(ndf, ndf * 2, (4, 4), (2, 2), (1, 1), bias=False),
nn.BatchNorm2d(ndf * 2),
nn.LeakyReLU(0.2, inplace=True),
# 输出 (ndf*2)*16*16
nn.Conv2d(ndf * 2, ndf * 4, (4, 4), (2, 2), (1, 1), bias=False),
nn.BatchNorm2d(ndf * 4),
nn.LeakyReLU(0.2, inplace=True),
# 输出 (ndf*4)*8*8
nn.Conv2d(ndf * 4, ndf * 8, (4, 4), (2, 2), (1, 1), bias=False),
nn.BatchNorm2d(ndf * 8),
nn.LeakyReLU(0.2, inplace=True),
# 输出 (ndf*8)*4*4
nn.Conv2d(ndf * 8, 1, (4, 4), (1, 1), (0, 0), bias=False),
nn.Sigmoid() # 输出一个数:概率
)
def forward(self, inp):
return self.main(inp).view(-1)
从上述代码可以看到判别器和生成器的网络结构几乎是对称的,从卷积核大小到 padding、stride 等设置,几乎一模一样。
需要注意的是,生成器的激活函数用的是 ReLU,而判别器使用的是 LeakyReLU,两者其实没有太大的区别,这种选择更多的是经验的总结。
判别器的最终输出是一个 0~1 的数,表示这个样本是真图片的概率。
四、参数配置
在开始写训练函数前,我们可以先配置模型参数
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# Coding by https://www.cnblogs.com/nickchen121/
# Datatime:2021/5/11 15:14
# Filename:config.py
# Toolby: PyCharm
class Config(object):
data_path = 'data/' # 数据集存放路径
num_workers = 4 # 多进程加载数据所用的进程数
image_size = 96 # 图片尺寸
batch_size = 256
max_epoch = 200
lr1 = 2e-4 # 生成器的学习率
lr2 = 2e-4 # 判别器的学习率
beta1 = 0.5 # Adam 优化器的 beta1 参数
use_gpu = False # 是否使用 GPU
nz = 100 # 噪声维度
ngf = 64 # 生成器的 feature map 数
ndf = 64 # 判别器的 feature map 数
save_path = 'imgs/' # 生成图片保存路径
vis = True # 是否使用 visdom 可视化
env = 'GAN' # visdom 的 env
plot_every = 20 # 每隔 20 个 batch,visdom 画图一次
debug_file = '/tmp/debuggan' # 存在该文件则进入 debug 模式
d_every = 1 # 每 1 个 batch 训练一次判别器
g_every = 5 # 每 5 个 batch 训练一次生成器
decay_everty = 10 # 每 10 个 epoch 保存一次模型
netd_path = 'checkpoints/netd_211.pth' # 预训练模型
netg_path = 'checkpoints/netg_211.pth'
# 测试时用的参数
gen_img = 'result.png'
# 从 512 张生成的图片路径中保存最好的 64 张
gen_num = 64
gen_search_num = 512
gen_mean = 0 # 噪声的均值
gen_std = 1 # 噪声的方差
opt = Config()
上述这些都只是模型的默认参数,还可以利用 Fire 等工具通过命令行传入,覆盖默认值。
除此之外,还可以使用 opt.atrr
,还可以利用 IDE/Python 提供的自动补全功能,十分方便。
上述的超参数大多是照搬 DCGAN 论文的默认值,这些默认值都是坐着经过大量的实验,发现这些参数能够更快地去训练出一个不错的模型。
五、数据处理
当我们下载完数据之后,需要把所有图片放在一文件夹,然后把文件夹移动到 data 目录下(并且要确保 data 下没有其他的文件夹)。使用这种方法是为了能够直接使用 pytorchvision 自带的 ImageFolder 读取图片,而没有必要自己写一个 Dataset。
数据读取和加载的代码如下所示。
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# Coding by https://www.cnblogs.com/nickchen121/
# Datatime:2021/5/12 09:43
# Filename:dataset.py
# Toolby: PyCharm
import torch as t
import torchvision as tv
from torch.utils.data import DataLoader
from config import opt
# 数据处理,输出规模为 -1~1
transforms = tv.transforms.Compose([
tv.transforms.Scale(opt.image_size),
tv.transforms.CenterCrop(opt.image_size),
tv.transforms.ToTensor(),
tv.transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])
# 加载数据集
dataset = tv.datasets.ImageFolder(opt.data_path, transform=transforms)
dataloader = DataLoader(
dataset,
batch_size=opt.batch_size,
shuffle=True,
num_workers=opt.num_workers,
drop_last=True
)
从上述代码中可以发现,用 ImageFolder 配合 DataLoader 加载图片十分方便。
六、训练
在训练之前,我们还需要定义几个变量:模型、优化器、噪声等。
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# Coding by https://www.cnblogs.com/nickchen121/
# Datatime:2021/5/10 10:37
# Filename:main.py
# Toolby: PyCharm
import os
import ipdb
import tqdm
import fire
import torch as t
import torchvision as tv
from visualize import Visualizer
from torch.autograd import Variable
from torchnet.meter import AverageValueMeter
from config import opt
from dataset import dataloader
from model import NetD, NetG
def train(**kwargs):
# 定义模型
netd = NetD()
netg = NetG()
# 定义网络
map_location = lambda storage, loc: storage
if opt.netd_path:
netd.load_state_dict(t.load(opt.netd_path, map_location=map_location))
if opt.netg_path:
netg.load_state_dict(t.load(opt.netg_path, map_location=map_location))
# 定义优化器和损失
optimizer_g = t.optim.Adam(netg.parameters(), opt.lr1, betas=(opt.beta1, 0.999))
optimizer_d = t.optim.Adam(netd.parameters(), opt.lr2, betas=(opt.beta1, 0.999))
criterion = t.nn.BCELoss()
# 真图片 label 为 1,假图片 label 为 0,noises 为生成网络的输入噪声
true_labels = Variable(t.ones(opt.batch_size))
fake_labels = Variable(t.zeros(opt.batch_size))
fix_noises = Variable(t.randn(opt.batch_size, opt.nz, 1, 1))
noises = vars(t.randn(opt.batch_size, opt.nz, 1, 1))
# 如果使用 GPU 训练,把数据转移到 GPU 上
if opt.use_gpu:
netd.cuda()
netg.cuda()
criterion.cuda()
true_labels, fake_labels = true_labels.cuda(), fake_labels.cuda()
fix_noises, noises = fix_noises.cuda(), noises.cuda()
在加载预训练模型的时候,最好指定 map_location。因为如果程序之前在 GPU 上运行,那么模型就会被存成 torch.cuda.Tensor,这样加载的时候会默认把数据加载到显存上。如果运行该程序的计算机中没有 GPU,则会报错,因此指定 map_location 把 Tensor 默认加载到内存上,等有需要的时候再加载到显存中。
下面开始训练网络,训练的步骤如下所示:
- 训练判别器:
- 固定生成器
- 对于真图片,判别器的输出概率值尽可能接近 1
- 对于生成器生成的图片,判别器尽可能输出 0
- 训练生成器
- 固定判别器
- 生成器生成图片,尽可能让判别器输出 1
- 返回第一步,循环交替训练
epochs = range(opt.max_epoch)
for epoch in iter(epochs):
for ii, (img, _) in tqdm.tqdm(enumerate(dataloader)):
real_img = Variable(img)
if opt.use_gpu:
real_img = real_img.cuda()
# 训练判别器
if (ii + 1) % opt.d_every == 0:
optimizer_d.zero_grad()
# 尽可能把真图片判别为 1
output = netd(real_img)
error_d_real = criterion(output, true_labels)
error_d_real.backward()
# 尽可能把假图片判别为 0
noises.data.copy_(t.randn(opt.batch_size, opt.nz, 1, 1))
fake_img = netg(noises).detach() # 根据照片生成假图片
fake_ouput = netd(fake_img)
error_d_fake = criterion(fake_ouput, fake_labels)
error_d_fake.backward()
optimizer_d.step()
# 训练生成器
if (ii + 1) % opt.g_every == 0:
optimizer_g.zero_grad()
noises.data.copy_(t.randn(opt.batch_size, opt.nz, 1, 1))
fake_img = netg(noises)
fake_output = netd(fake_img)
# 尽可能让判别器把假图片也判别为 1
error_g = criterion(fake_output, true_labels)
error_g.backward()
optimizer_g.step()
# 可视化
if opt.vis and ii % opt.plot_every == opt.plot_every - 1:
# 定义可视化窗口
vis = Visualizer(opt.env)
if os.path.exists(opt.debug_file):
ipdb.set_trace()
global fix_fake_imgs
fix_fake_imgs = netg(fix_noises)
vis.images(fix_fake_imgs.detach().cpu().numpy()[:64] * 0.5 + 0.5, win='fixfake')
vis.images(real_img.data.cpu().numpy()[:64] * 0.5 + 0.5, win='real')
vis.plot('errord', errord_meter.value()[0])
vis.plot('errorg', errorg_meter.value()[0])
if (epoch + 1) % opt.save_every == 0:
# 保存模型、图片
tv.utils.save_image(fix_fake_imgs.data[:64], '%s/%s.png' % (opt.save_path, epoch), normalize=True,
range=(-1, 1))
t.save(netd.state_dict(), 'checkpoints/netd_%s.pth' % epoch)
t.save(netg.state_dict(), 'checkpoints/netg_%s.pth' % epoch)
errord_meter.reset()
errorg_meter.reset()
在上述训练代码中,需要注意以下几点:
- 训练生成器的时候,不需要调整判别器的参数;训练判别器的时候,也不需要调整生成器的参数
- 在训练判别器的时候,需要对生成器生成的图片用 detach 操作进行计算图截断,避免反向传播把梯度传到生成器中。因为在训练判别器的时候我们不需要训练生成器,也就不需要生成器的梯度。
- 在训练分类器的时候,需要反向传播两次,一次是希望把真图片判为 1,一次是希望把假图片判为 0.也可以把这个两者的数据放到一个 batch 中,进行一次前向传播和一次反向传播即可。但是人们发现,在一个 batch 中只包含真图片或者只包含假图片的做法最好。
- 对于假图片,在训练判别器的时候,我们希望它输出为 0;而在训练生成器的时候,我们希望它输出为 1.因此可以看到一堆相互矛盾的代码:
error_d_fake = criterion(fake_output,fake_labels)
和error_g = criterion(fake_output, true_labels)
。其实这也很好理解,判别器希望能够把假图片判别为 fake_label,而生成器希望能把它判别为 true_label,判别器和生成器相互对抗提升。 - 其中的 Visualize 模块类似于上一章自己的写的模块,可以直接复制粘贴源码中的代码。
七、随机生成图片
除了上述所示的代码外,还提供了一个函数,能加载预训练好的模型,并且利用噪声随机生成图片。
@t.no_grad()
def generate():
# 定义噪声和网络
netg, netd = NetG(opt), NetD(opt)
noises = t.randn(opt.gen_search_num, opt.nz, 1, 1).normal_(opt.gen_mean, opt.gen_std)
noises = Variable(noises)
# 加载预训练的模型
netd.load_state_dict(t.load(opt.netd_path))
netg.load_state_dict(t.load(opt.netg_path))
# 是否使用 GPU
if opt.use_gpu:
netd.cuda()
netg.cuda()
noises = noises.cuda()
# 生成图片,并计算图片在判别器的分数
fake_img = netg(noises)
scores = netd(fake_img).data
# 挑选最好的某几张
indexs = scores.topk(opt.gen_num)[1]
result = []
for ii in indexs:
result.append(fake_img.data[ii])
# 保存图片
tv.utils.save_image(t.stack(result), opt.gen_num, normalize=True, range=(-1, 1))
八、训练模型并测试
完整的代码可以添加我微信:chenyoudea,其实上述代码已经很完整了,或者去github https://github.com/chenyuntc/pytorch-book/tree/master/chapter07-AnimeGAN下载。
这里假设你是拥有完整的代码,那么准备好数据后,可以用下面的命令开始训练:
python main.py train --gpu=True --vis=True --batch-size=256 --max-epoch=200
如果使用了 visdom,此时打开 http://localhost:8097
就能看到生成的图像。
训练完成后,我们就可以利用生成网络随机生成动漫头像,输入命令如下:
python main.py generate --gen-img='result.5w.png' --gen-search-num=15000
0902-用GAN生成动漫头像的更多相关文章
- GAN网络之入门教程(四)之基于DCGAN动漫头像生成
目录 使用前准备 数据集 定义参数 构建网络 构建G网络 构建D网络 构建GAN网络 关于GAN的小trick 训练 总结 参考 这一篇博客以代码为主,主要是来介绍如果使用keras构建一个DCGAN ...
- GAN生成图像论文总结
GAN Theory Modifyingthe Optimization of GAN 题目 内容 GAN DCGAN WGAN Least-square GAN Loss Sensi ...
- GAN网络之入门教程(五)之基于条件cGAN动漫头像生成
目录 Prepare 在上篇博客(AN网络之入门教程(四)之基于DCGAN动漫头像生成)中,介绍了基于DCGAN的动漫头像生成,时隔几月,序属三秋,在这篇博客中,将介绍如何使用条件GAN网络(cond ...
- DCGAN in Tensorflow生成动漫人物
引自:GAN学习指南:从原理入门到制作生成Demo 生成式对抗网络(GAN)是近年来大热的深度学习模型.最近正好有空看了这方面的一些论文,跑了一个GAN的代码,于是写了这篇文章来介绍一下GAN. 本文 ...
- GAN︱生成模型学习笔记(运行机制、NLP结合难点、应用案例、相关Paper)
我对GAN"生成对抗网络"(Generative Adversarial Networks)的看法: 前几天在公开课听了新加坡国立大学[机器学习与视觉实验室]负责人冯佳时博士在[硬 ...
- 4.keras实现-->生成式深度学习之用GAN生成图像
生成式对抗网络(GAN,generative adversarial network)由Goodfellow等人于2014年提出,它可以替代VAE来学习图像的潜在空间.它能够迫使生成图像与真实图像在统 ...
- GAN 生成mnist数据
参考资料 GAN原理学习笔记 生成式对抗网络GAN汇总 GAN的理解与TensorFlow的实现 TensorFlow小试牛刀(2):GAN生成手写数字 参考代码之一 #coding=utf-8 #h ...
- 小程序利用canvas 绘制图案 (生成海报, 生成有特色的头像)
小程序利用canvas 绘制图案 (生成海报, 生成有特色的头像) 微信小程序生成特色头像,海报等是比较常见的.下面我来介绍下实现该类小程序的过程. 首先选择前端来通过 canvas 绘制.这样比较节 ...
- 『TensorFlow』DCGAN生成动漫人物头像_下
『TensorFlow』以GAN为例的神经网络类范式 『cs231n』通过代码理解gan网络&tensorflow共享变量机制_上 『TensorFlow』通过代码理解gan网络_中 一.计算 ...
随机推荐
- IntelliJ IDEA报错总结
不能运行java程序 可能是没有选择运行环境点击 edit Configurations在Use classpath of module 中选择本项目的运行环境 Run报错: Error:java: ...
- Hive相关的命令
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过 ...
- 【关系抽取-R-BERT】模型结构
模型的整体结构 相关代码 import torch import torch.nn as nn from transformers import BertModel, BertPreTrainedMo ...
- 有必要了解的大数据知识(一) Hadoop
前言 之前工作中,有接触到大数据的需求,虽然当时我们体系有专门的大数据部门,但是由于当时我们中台重构,整个体系的开发量巨大,共用一个大数据部门,人手已经忙不过来,没法办,为了赶时间,我自己负责的系统的 ...
- Bi-shoe and Phi-shoe LightOJ - 1370(数论+素数筛)
题目链接:https://vjudge.net/problem/LightOJ-1370 题意:给你N个欧拉函数值,找出每一个大于等于该欧拉函数值的数,并且要求相加和最小. 题解:因为素数i的欧拉函数 ...
- P1060_开心的金明(JAVA语言)
思路 0/1背包问题 模板 //暴力出奇迹 题目描述 金明今天很开心,家里购置的新房就要领钥匙了,新房里有一间他自己专用的很宽敞的房间.更让他高兴的是,妈妈昨天对他说:"你的房间需要购买哪些 ...
- PTA 冒泡排序
6-4 冒泡排序 (10 分) 编程实现冒泡排序函数.void bubbleSort(int arr[], int n);.其中arr存放待排序的数据,n为数组长度(1≤n≤1000). 函数接口 ...
- NetCore的缓存使用详例
关于我 作者博客|文章首发 缓存基础知识 缓存可以减少生成内容所需的工作,从而显著提高应用程序的性能和可伸缩性. 缓存最适用于不经常更改的 数据,生成 成本很高. 通过缓存,可以比从数据源返回的数据的 ...
- 热更新应用--热补丁Hotfix学习笔记
一.热补丁简介 热补丁主要是用于将纯C#工程在不重做的情况下通过打补丁的形式改造成具备lua热更新功能工程,主要是让原来脚本中Start函数和Update函数等函数代码块重定向到lua代码. 二.第一 ...
- vue-cli2 生成的项目打包优化(持续学习中)
1.昨天看到自己的项目每次打包后都是30M左右,就觉得这个打包后的dist文件太大了,能不能小点呢, 然后就看网上的资料,提供了好多优化的办法,但是我只用了一个,后期再不断的优化吧. 打开工程项目文件 ...