TechDay公开课实录:PaddlePaddle车牌识别实战和心得

　　车牌识别作为一种常见的图像识别的应用场景，已经是一个非常成熟的业务了，在传统的车牌识别中，可以使用字符分割+字符识别的方式来进行车牌识别，而深度学习兴起后，出现了很多端到端的车牌识别模型，不用分割字符，直接输入车牌图片即可识别出车牌字符。2019年1月5日百度深度学习线下技术公开课PaddlePaddle TechDay第一期演讲则邀请了百度认证布道师胡晓曼老师分享基于PaddlePaddle最新版本Fluid作用于车牌识别模型训练的实践。
　　
　　以下为胡晓曼讲师的演讲实录：
　　
　　PaddlePaddle Fluid和TensorFlow的设计理念有何不同？
　　
　　执行流程不是“先定义再执行”，而是“先编译再运行”，通过写一个 Transpiler把Protobuf Message翻译成C++程序，然后用NCVV、ICC、GCC编译成二进制代码，可以直接运行在服务器和手机上。
　　
　　抛弃静态图思想，采用Program设计思想，原始的Program在平台内部转换成ProgramDesc，python的Executor接收ProgramDesc后，传递给Transpiler，输出一段C++可执行的Program。
　　
　　基于此，Fluid解释器极大的加快了执行Program的速度，PaddlePaddle Fluid运行速度也会更快。
　　
　　按步骤来，你也能创造自己的车牌识别数据集
　　
　　1.数据准备
　　
　　数据准备是做训练的第一步，往往大家第一印象都是去网上下载车牌数据集，但是会有很多问题，如数据集不方便下载，大部分需要花钱等等。但其实除了收集真实场景的车牌数据，我们也可以自己用程序的方式生成车牌数据：
　　
　　1.1生成车牌数据
　　
　　1.1.1定义车牌所需字符
　　
　　1.1.2生成中英文字符
　　
　　一个车牌第一个字母都是中文，后面是英文和数据集合。
　　
　　1.1.3数据增强：添加畸变、噪音和模糊处理
　　
　　字符生成后，需要对车牌数据进行一些数据增强，因为直接生成的数据是非常干净和清晰的车牌数据，跟真实场景的数据有一定差距，直接拿来用的训练结果会非常好，但是自然场景里，噪音、畸变、模糊等问题会影响真实图片的效果，最后实际应用依然达不到预期。因此，我们需要对这些数据进行畸变、噪音、模糊处理，尽量贴近现实场景的图片。
　　
　　1.1.4生成车牌背景——加入背景图片，生成车牌字符串list和label，并存为图片格式。
　　
　　车牌目前有蓝牌、绿牌、白牌、黑牌，常见的是蓝牌和绿牌，车牌数字搞定后需要加入背景图片，使其跟真实车牌更相近。
　　
　　1.1.5批量生成
　　
　　生成字符后加入背景图片，用函数的使其可以批量生成，做测试最好生成数量越多越好，起码几十万张起。
　　
　　1.2.6车牌生成效果
　　
　　2.Fluid数据读取
　　
　　支持两种传入数据的方式：
　　
　　以PythonReader同步读取方式为例（注：batch_size：Fluid中Tensor的第0维度固定为batch_size，在上面代码段中，图像输入x的形状为[3,32,32]，分别代表：channel数目，图像的高度和宽度。如果不指定batch_size，那么data算子会根据实际数据来推断batch_size的大小，如果需要自定义batch_size，就需要在第0维指定维度即可）：
　　
　　3.Fluid网络模型
　　
　　采用PaddlePaddle Fluid提供的vgg19模型来进行训练，完整代码请见：
　　
　　这个模型的好处是把vgg9所有的网络模型都写进去了。
　　
　　4.启动训练-参数初始化
　　
　　启动训练的时候如何进行参数初始化，可以选择是否使用GPU。初始化完成后，需要把数据灌进来，启动数据模型并输入数据。
　　
　　5.模型测试并输出日志
　　
　　打印日志
　　
　　打印的日志，pass表示第一次迭代，batch表示第一次batch，Loss是第一次迭代，第一次迭代里面是98，acc是0.08，一直迭代到后面，loss值在不断的下降。Loss值不断下降可以画成一张图，根据它下降的幅度，可以帮助我们侦查这个模型训练是否有问题。
　　
　　保存模型
　　
　　创建一个保存模型的路径，通过调用Fluidio这个模块，将这个模型保存下来。
　　
　　6.预测模型
　　
　　保存好的模型不一定要在这台机器上使用，在其他机器和容器里面，也是可以进行使用的。提前将这个网络和模型加载进来，放入测试数据，就可以进行测试，预测模型。
　　
　　预测结果（测试图片）
　　
　　这张图片是预测的新能源的车牌图片，豫GD17926，预测之后把模型加载进来，测试图片，结果是豫GD17826，9变成8，没有想象中的效果好，原因是只迭代了2000次，没有迭代太多的时间，如果模型并没有完全收敛，大家可以在自主构建过程当中，增加迭代次数，看是否能够达到收敛的状态。当然，实际应用落地中，还是要看具体的业务场景。
　　
　　最后，晓曼老师也根据自身经验，给初学者提出几点关于深度学习的建议：
　　
　　1.不要过于追求高大上的模型和数学名词，做工业应用实践，要做好最基本的工作，不要深究理论；
　　
　　2.不要随便调参，理论有助于我们懂得如何更快速、更高效调参，使其以最快的方式达到最优的状态；
　　
　　3.不要只依赖机器，机器的资源是有限的，我们更应该考虑如何把模型进行性能优化，这样可以加速模型进行训练；
　　
　　4.提高工程能力，多看代码，多写代码，论文多复现，以此提高自己的工程能力。
　　
　　//seekbarLayout 是seekBar对象statusSeekbar的父层布局
　　
　　seekbarLayout = mStatusViewLayout.findViewById(R.id.id_seekbar_layout);
　　
　　seekbarLayout.setOnTouchListener(new View.OnTouchListener() {
　　
　　@Override
　　
　　public boolean onTouch(View v, MotionEvent event) {
　　
　　Rect seekRect = new Rect(www.meiwanyule.cn/ );
　　
　　statusSeekbar.getHitRect(seekRect);
　　
　　if ((event.getY() >= (seekRect.top - 500)) && (event.getY() <= (seekRect.bottom + 500))) {
　　
　　float y = seekRect.top + seekRect.height(www.gcyL157.com) / 2;
　　
　　//seekBar only accept relative x
　　
　　float x = event.getX(www.mcyllpt.com) - seekRect.left;
　　
　　if (x < 0) {
　　
　　x = 0;
　　
　　} else if (x > seekRect.width(www.michenggw.com)) {
　　
　　x = seekRect.width();
　　
　　}
　　
　　MotionEvent me = MotionEvent.obtain(event.getDownTime(), event.getEventTime(),
　　
　　event.getAction(www.fengshen157.com/), x, y, event.getMetaState());
　　
　　return statusSeekbar.onTouchEvent(me);
　　
　　}
　　
　　return false;
　　
　　}
　　
　　});