OpenCV+TensorFlow实现自定义手写图像识别

完整版请点击链接：https://mp.weixin.qq.com/s/5gHXGmLbtO7m3dOFrDUiHQ    或微信关注“大数据技术宅”

继用TensorFlow教你做手写字识别（准确率94.09%）文章中，笔者给出了CNN模型的训练以及给出了一些数字图像进行效果测试，这篇文章，笔者将给出自己手写数字图像，并且对图像进行简单处理，用上一篇文章中训练的网络进行手写数字的识别。下边跟着笔者的步伐实现属于自己的数字图像识别。

工具要求

工具及环境要求如下，如果大家在安装TensorFlow过程遇到问题，可以咨询笔者一起探讨。

• Python 2.7.14

• TensorFlow 1.5

• pip 10.0.1

• linux环境

• openCV 2.4.13.6

• C++

数字图像素材准备

笔者画了两个手写字，如图1所示，读者可以自行绘制自己的手写字图像。

图1 手绘数字图片

手绘数字图像预处理

由于笔者训练的CNN网络的输入图像是28*28像素的，所以需要对手绘数字图像进行简单处理，转换成28*28的灰度图像。图像处理的工具用的是openCV，C++代码如下：

 1#include <opencv2/core/core.hpp>
 2#include <opencv2/highgui/highgui.hpp>
 3#include <opencv2/imgproc/imgproc.hpp>
 4#include "cv.h"  
 5#include <string>
 6#include <stdio.h>
 7using namespace cv;
 8using namespace std;
 9
10cv::Mat org,dst,img,tmp;
11void on_mouse(int event,int x,int y,int flags,void *ustc)//event鼠标事件代号，x,y鼠标坐标，flags拖拽和键盘操作的代号
12{
13    static Point pre_pt = cv::Point(-1,-1);//初始坐标
14    static Point cur_pt = cv::Point(-1,-1);//实时坐标
15    char temp[16];
16    if (event == CV_EVENT_LBUTTONDOWN)//左键按下，读取初始坐标，并在图像上该点处划圆
17    {
18        org.copyTo(img);//将原始图片复制到img中
19        sprintf(temp,"(%d,%d)",x,y);
20        pre_pt = Point(x,y);
21        putText(img,temp,pre_pt,FONT_HERSHEY_SIMPLEX,0.5,Scalar(0,0,0,255),1,8);//在窗口上显示坐标
22        circle(img,pre_pt,2,Scalar(255,0,0,0),CV_FILLED,CV_AA,0);//划圆
23        imshow("img",img);
24    }
25    else if (event == CV_EVENT_MOUSEMOVE && !(flags & CV_EVENT_FLAG_LBUTTON))//左键没有按下的情况下鼠标移动的处理函数
26    {
27        img.copyTo(tmp);//将img复制到临时图像tmp上，用于显示实时坐标
28        sprintf(temp,"(%d,%d)",x,y);
29        cur_pt = Point(x,y);
30        putText(tmp,temp,cur_pt,FONT_HERSHEY_SIMPLEX,0.5,Scalar(0,0,0,255));//只是实时显示鼠标移动的坐标
31        imshow("img",tmp);
32    }
33    else if (event == CV_EVENT_MOUSEMOVE && (flags & CV_EVENT_FLAG_LBUTTON))//左键按下时，鼠标移动，则在图像上划矩形
34    {
35        img.copyTo(tmp);
36        sprintf(temp,"(%d,%d)",x,y);
37        cur_pt = Point(x,y);
38        putText(tmp,temp,cur_pt,FONT_HERSHEY_SIMPLEX,0.5,Scalar(0,0,0,255));
39        rectangle(tmp,pre_pt,cur_pt,Scalar(0,255,0,0),1,8,0);//在临时图像上实时显示鼠标拖动时形成的矩形
40        imshow("img",tmp);
41    }
42    else if (event == CV_EVENT_LBUTTONUP)//左键松开，将在图像上划矩形
43    {
44        org.copyTo(img);
45        sprintf(temp,"(%d,%d)",x,y);
46        cur_pt = Point(x,y);
47        putText(img,temp,cur_pt,FONT_HERSHEY_SIMPLEX,0.5,Scalar(0,0,0,255));
48        circle(img,pre_pt,2,Scalar(255,0,0,0),CV_FILLED,CV_AA,0);
49        rectangle(img,pre_pt,cur_pt,Scalar(0,255,0,0),1,8,0);//根据初始点和结束点，将矩形画到img上
50        imshow("img",img);
51        img.copyTo(tmp);
52        //截取矩形包围的图像，并保存到dst中
53        int width = abs(pre_pt.x - cur_pt.x);
54        int height = abs(pre_pt.y - cur_pt.y);
55        if (width == 0 || height == 0)
56        {
57            printf("width == 0 || height == 0");
58            return;
59        }
60        dst = org(Rect(min(cur_pt.x,pre_pt.x),min(cur_pt.y,pre_pt.y),width,height));
61        Mat dst02; 
62        cv::resize(dst,dst02,Size(28,28));
63
64        imwrite("/home/openCV/mnist/temp.png",dst02);//注意将这里改为自己的处理结果存储地址
65        namedWindow("dst02");
66        imshow("dst02",dst02);
67        waitKey(0);
68    }
69}
70int main()
71{
72    org = imread("/home/openCV/mnist/ceshi8.jpg");//读取图片地址
73    org.copyTo(img);
74    org.copyTo(tmp);
75    namedWindow("img");//定义一个img窗口
76    setMouseCallback("img",on_mouse,0);//调用回调函数
77    imshow("img",img);
78    cv::waitKey(0);
79}

C++代码需要先编译，再运行，运行过程中如果遇到什么问题，欢迎读者跟笔者沟通，处理完之后图像如图2所示：

图2 预处理后手写图像

调用CNN网络对图像进行识别

用上一篇文章（用TensorFlow教你做手写字识别（准确率94.09%））部分，测试模型的代码，对处理过的手写图像进行识别，识别结果如图3所示：

图3 手写数字是被结果

通过笔者两篇手写数字识别文章的学习，相信动手尝试的读者已经对图像识别的流程有了简单的了解，在后续的图像识别系列文章中笔者会更加深入的介绍图像识别。图像识别的接下来两篇文章中笔者会用一篇讲解Faster R-CNN的原理，另一篇介绍Faster R-CNN的应用，并附上模型代码，预计要达到的效果如图4所示：

图4 图像识别效果

最后，笔者说一些题外话，本公众号运营到维护已经有近两个月时间，由于是笔者利用周末和业余时间所写，所以更新会比较缓慢，但笔者可以保证每周至少有一篇原创分享，并且保证本公众号不会存在任何商业行为，完全出于笔者爱好。希望想从事大数据及人工智能相关工作的读者与笔者互动交流，一块进步。

持续更新ing