（GO_GTD_2)基于OpenCV和QT，建立Android图像处理程序

一、综述

    如何采集图片？在windows环境下，我们可以使用dshow，在linux下，也有ffmpeg等基础类库，再不济，opencv自带的videocapture也是提供了基础的支撑。那么在andoird下，使用的肯定是Android自带的相关函数了。由于Android是基于java语言的，如果我们想要调用Android 的相关函数，那么必须通过JNI的方法。

    这里有可以分为两种，一种是直接在java中实现比较完整的函数，在qt中，只需要调用这个函数就可以；另一种就是使用qt自带的jni机制，比如下面这样，打开摄像头，并且采集图片。我们首先介绍第二种方法，让大家最快进入情况。

 

二、通过JNI打开摄像头

a、填加头文件和命名空间，定义公共变量和宏：

#include <QtAndroid>

#include <QDebug>

#include <QAndroidJniEnvironment>

#include <QAndroidActivityResultReceiver>

#include <QDateTime>

#include <QFile>

using namespace cv;

using namespace QtAndroid;

 

QString strFetchImage = "";

QString selectedFileName = "";

 

#define CHECK_EXCEPTION() \

if(env->ExceptionCheck())\

{\

qDebug() << "exception occured";\

env->ExceptionClear();\

}

 

其中需要注意的是，CHECK_EXCEPTION是用来检查Android系统是否有异常的。这一点在使用JNI的时候非常重要和必要。

 

b、填加回调类，主要就是在一系列异常判断后，获得imagepath。该类集成自ResultReceiver：

class ResultReceiver: public QAndroidActivityResultReceiver

{

    public: ResultReceiver(QString imagePath, QLabel *view) : m_imagePath(imagePath), m_imageView(view){}

    void handleActivityResult(int receiverRequestCode,int resultCode,const QAndroidJniObject & data){

     qDebug() << "handleActivityResult, requestCode - " << receiverRequestCode<< " resultCode - " << resultCode<< " data - " << data.toString();

){

    qDebug() << "captured image to - " << m_imagePath;

    qDebug() << "captured image exist - " << QFile::exists(m_imagePath);

    m_imageView->setPixmap(QPixmap(m_imagePath));}

    }

    QString m_imagePath;

    QLabel *m_imageView;

};

 

C、填加控件触发事件。一般来说我们选择pressed事件

d、编写拍照代码

//打开摄像头，采集图片

voidMainWindow::on_btn_capture_pressed()

{

ui->lbMain->setScaledContents(true);//显示的图像自动缩放

b_canSave=false; //图片没有采集完成，目前不可以保存

//引用JNI

QAndroidJniEnvironmentenv;

//创建用于打开摄像头的content

QAndroidJniObjectaction=QAndroidJniObject::fromString("android.media.action.IMAGE_CAPTURE");QAndroidJniObject (intent("android/content/Intent","(Ljava/lang/String;)V",action.object<jstring>());

//设定img路径

QStringdate=QDateTime::currentDateTime().toString("yyyyMMdd_hhmmss");

QAndroidJniObjectfileName=QAndroidJniObject::fromString(date+".jpg");

QAndroidJniObjectsavedDir=QAndroidJniObject::callStaticObjectMethod("android/os/Environment","getExternalStorageDirectory","()Ljava/io/File;");

//使用CHECK_EXCEPTION处理异常

CHECK_EXCEPTION()

qDebug()<<"savedDir-"<<savedDir.toString();

QAndroidJniObjectsavedImageFile("java/io/File","(Ljava/io/File;Ljava/lang/String;)V",savedDir.object<jobject>(),fileName.object<jstring>());

CHECK_EXCEPTION()

qDebug()<<"savedImageFile-"<<savedImageFile.toString();

QAndroidJniObjectsavedImageUri=QAndroidJniObject::callStaticObjectMethod("android/net/Uri","fromFile","(Ljava/io/File;)Landroid/net/Uri;",

savedImageFile.object<jobject>());

CHECK_EXCEPTION()

 

//将输出路径传递过来

QAndroidJniObjectmediaStoreExtraOutput=QAndroidJniObject::getStaticObjectField("android/provider/MediaStore","EXTRA_OUTPUT","Ljava/lang/String;");

CHECK_EXCEPTION()

qDebug()<<"MediaStore.EXTRA_OUTPUT-"<<mediaStoreExtraOutput.toString();

intent.callObjectMethod(

"putExtra","(Ljava/lang/String;Landroid/os/Parcelable;)Landroid/content/Intent;",mediaStoreExtraOutput.object<jstring>(),

savedImageUri.object<jobject>());

 

//获得采集图片的绝对路径,并且显示出来

ResultReceiver*resultReceiver=newResultReceiver(savedImageFile.toString(),ui->lbMain);

,resultReceiver);

//获得返回的绝对地址(注意这句话一定要写在CHECK_EXCEPTION中）

strFetchImage=savedImageFile.toString();

}

最终采集到的图片地址保存在strFetchImage 中

 

e、编写处理代码。由于我这里主要进行的是图像处理操作，所以必须结合OpenCV相关函数进行

//图像处理操作

voidMainWindow::on_btn_process_pressed()

{

b_canSave=false;

if(strFetchImage!="")

{

ui->lbMain->setScaledContents(false);

Matsrc=imread(strFetchImage.toStdString());

Matsrc2;

Matrotated;

////////////////////////////主要算法/////////////////////////////

,));//标准大小

Matsrc_gray;

Matsrc_all=src2.clone();

 

Matthreshold_output;

vector<vector<Point>>contours,contours2;

vector<Vec4i>hierarchy;

//预处理

cvtColor(src2,src_gray,CV_BGR2GRAY);

,));//模糊，去除毛刺

,,THRESH_OTSU);

//添加提示

ui->lb_info->setText("开始寻找轮廓!");

//寻找轮廓

//第一个参数是输入图像2值化的

//第二个参数是内存存储器，FindContours找到的轮廓放到内存里面。

//第三个参数是层级，**[Next,Previous,First_Child,Parent]**的vector

//第四个参数是类型，采用树结构

//第五个参数是节点拟合模式，这里是全部寻找

,));

//添加提示

)

{

    ui->lb_info->setText("轮廓筛选错误，循环退出!请重新采集数据。");

    return;

}

else

{

    ui->lb_info->setText("开始寻找轮廓!开始筛选轮廓!");

}

 

//轮廓筛选

,,;

;

;i<contours.size();i++)

{

//hierarchy[i][2]!=-1表示不是最外面的轮廓

]!=-&&)

{

parentIdx=i;

ic++;

}

]!=-)

{

ic++;

}

//最外面的清0

]==-)

{

;

;

}

//找到定位点信息

)

{

contours2.push_back(contours[parentIdx]);

;

;

}

}

 

//添加提示

)

{

ui->lb_info->setText("定位点选择错误，循环退出!请重新采集数据。");

return;

}

else

{

ui->lb_info->setText("开始寻找轮廓!开始筛选轮廓!定位点选择正确!");

}

 

//填充定位点,我们约定，必须要能够同时识别出4个点来

;i<contours2.size();i++)

,,),-);

 

//识别出来了关键区域，但是数量不对，显示当前识别结果，退出循环

)

{

QPixmapqpixmap=Mat2QImage(src_all);

ui->lbMain->setPixmap(qpixmap);

ui->lb_info->setText("定位点数量不为4!请重新采集数据。");

return;

}

else

{

//否则，进一步分割

];

;i<contours2.size();i++)

{

//筛选轮廓，

doubled=contourArea(contours2[i]);

*/)

{

ui->lb_info->setText("采集中有错误轮廓，请重新采集数据");

QPixmapqpixmap=Mat2QImage(src_all);

ui->lbMain->setPixmap(qpixmap);

return;

}

//定位重点，并重新排序

Pointptmp=Center_cal(contours2,i);

 

/&&/)

{

]=ptmp;

}

/&&/)

{

]=ptmp;

}

/&&/)

{

]=ptmp;

}

else

{

]=ptmp;

}

}

 

//打印出来

;;i++)

{

];

);

,,,),);

ui->lb_info->setText("结果识别正确，可以保存");

}

 

//透视变换

];

]=];

]=];

]=];

]=];

];

]=,);

]=,);

]=,);

]=,);

MatwarpMatrix=getPerspectiveTransform(src_vertices,dst_vertices);

//执行透视变化

warpPerspective(src2,rotated,warpMatrix,rotated.size(),INTER_LINEAR,BORDER_CONSTANT);

}

//////////////////////////END主要算法END///////////////////////

//将图片显示到label上

QPixmapqpixmap=Mat2QImage(rotated);

ui->lbMain->setPixmap(qpixmap);

matResult=rotated.clone();

b_canSave=true;

}

}

三、初步结果和继续研究需要解决的问题

按照设计，目前得到这样的结果

下一步注重解决以下问题

1、提高程序稳定性；

2、提高界面流程性和运行速度；

3、重构代码，进一步进行封装；

4、添加数据保存的相关功能。

感谢阅读至此，希望有所帮助！

 

来自为知笔记(Wiz)