Android学习十二---在android上实现图像匹配

一、效果图及功能描述

效果图

点击ShowImg后

点击match，然后点击showmatch，可以不断点击showmatch。

主要功能描述：显示在SD卡上已经存在的图片test.jpg，根据图片在cameraframe对于每一帧计算和test.ipg的匹配并显示。

二、界面设计

一个JavaCameraView用来显示帧相当于是相机的预览，两个ImgView一个用来显示要匹配的图像，一个用来显示最后得到的匹配图。三个Button对应三个View，ShowImg用来显示SD卡上的test.jpg，match开始匹配，showmatch，显示匹配的结果。（忽略名字的不统一。。。。）

采用线性布局的嵌套来实现布局，首先最外面是一个水平方向的线性布局，然后每行又是一个垂直方向的线性布局，一个垂直方向的线性布局里放的是JavaCameraView和match button，另一个则是两个ImgView和另两个button。

<?xml version="1.0" encoding="utf-8"?>

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"

    android:layout_width="fill_parent"

    android:layout_height="fill_parent"

    android:orientation="horizontal" >

    <LinearLayout

        android:layout_width="fill_parent"

        android:layout_height="fill_parent"

        android:layout_weight="1"

        android:orientation="vertical" >

        <org.opencv.android.JavaCameraView

            android:id="@+id/objectMatch"

            android:layout_width="fill_parent"

            android:layout_height="fill_parent"

            android:layout_weight="1" />

        <Button

            android:id="@+id/button_match"

            android:layout_width="wrap_content"

            android:layout_height="wrap_content"

            android:text="@string/Match" />

    </LinearLayout>

    <LinearLayout

        android:layout_width="fill_parent"

        android:layout_height="fill_parent"

        android:layout_weight="1"

        android:orientation="vertical" >

        <ImageView

            android:id="@+id/ImgPhoto"

            android:layout_width="match_parent"

            android:layout_height="match_parent"

            android:layout_weight="1"

            android:src="@drawable/ic_launcher" />

        <Button

            android:id="@+id/button_show"

            android:layout_width="wrap_content"

            android:layout_height="wrap_content"

            android:text="@string/showImg" />

        <ImageView

            android:id="@+id/Imgmatch"

            android:layout_width="match_parent"

            android:layout_height="match_parent"

            android:layout_weight="1"

            android:src="@drawable/ic_launcher" />

        <Button

            android:id="@+id/button_showmatch"

            android:layout_width="wrap_content"

            android:layout_height="wrap_content"

            android:text="@string/showmatch" />

    </LinearLayout>

</LinearLayout>

三、功能实现

按照一般图像匹配的流程，即提训练和测试图像关键点，计算关键点的特征表示，计算训练测试图片的匹配点数，并画图。这个流程需要用的OpenCV4android API有

FeatureDetector .create，detect，match见前面章节的介绍

http://blog.csdn.net/h2008066215019910120/article/details/42650231

还有就是bitmap到mat，mat到bitmap之间的转换Utils.bitmapToMat，Utils.matToBitmap。

package com.example.objectmatch;

import android.app.Activity;

import android.os.Bundle;

import android.view.Menu;

import android.view.MenuItem;

import java.io.File;

import java.io.FileNotFoundException;

import java.io.FileOutputStream;

import java.io.IOException;

import java.sql.Date;

import java.text.SimpleDateFormat;

import java.util.ArrayList;

import java.util.List;

import org.opencv.android.BaseLoaderCallback;

import org.opencv.android.CameraBridgeViewBase;

import org.opencv.android.LoaderCallbackInterface;

import org.opencv.android.OpenCVLoader;

import org.opencv.android.CameraBridgeViewBase.CvCameraViewFrame;

import org.opencv.android.CameraBridgeViewBase.CvCameraViewListener2;

import org.opencv.android.Utils;

import org.opencv.core.Core;

import org.opencv.core.CvType;

import org.opencv.core.Mat;

import org.opencv.core.MatOfDMatch;

import org.opencv.core.MatOfKeyPoint;

import org.opencv.core.MatOfPoint;

import org.opencv.core.Rect;

import org.opencv.core.Scalar;

import org.opencv.features2d.DescriptorExtractor;

import org.opencv.features2d.DescriptorMatcher;

import org.opencv.features2d.FeatureDetector;

import org.opencv.features2d.Features2d;

import org.opencv.features2d.KeyPoint;

import org.opencv.imgproc.Imgproc;

import android.app.Activity;

import android.content.Context;

import android.content.pm.PackageManager;

import android.graphics.Bitmap;

import android.graphics.BitmapFactory;

import android.hardware.Camera;

import android.hardware.Camera.PictureCallback;

import android.os.Bundle;

import android.os.Environment;

import android.util.Log;

import android.view.View;

import android.view.WindowManager;

import android.widget.Button;

import android.widget.FrameLayout;

import android.widget.ImageView;

public class MainActivity extends Activity implements CvCameraViewListener2 {

    private Bitmap testimg;

    private Bitmap matchbitmap;

    private CameraBridgeViewBase mOpenCvCameraView;

    private Mat mRgba;

    private Mat mGray;

    private Mat mByte;

    private Scalar CONTOUR_COLOR;

    private boolean isProcess = false;

    private String filepath = "/sdcard/test.jpg";

    private static final String TAG = "Dawn";

    private BaseLoaderCallback mLoaderCallback = new BaseLoaderCallback(this) {

        @Override

        public void onManagerConnected(int status) {

            switch (status) {

            case LoaderCallbackInterface.SUCCESS: {

                Log.i(TAG, "OpenCV loaded successfully");

                mOpenCvCameraView.enableView();

            }

                break;

            default: {

                super.onManagerConnected(status);

            }

                break;

            }

        }

    };

    @Override

    public void onCreate(Bundle savedInstanceState) {

        super.onCreate(savedInstanceState);

        getWindow().addFlags(WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON);

        setContentView(R.layout.activity_main);

        mOpenCvCameraView = (CameraBridgeViewBase) findViewById(R.id.objectMatch);

        mOpenCvCameraView.setCvCameraViewListener(this);

        final ImageView showimg = (ImageView) findViewById(R.id.ImgPhoto);

        final ImageView matchimg = (ImageView) findViewById(R.id.Imgmatch);

        Button showButton = (Button) findViewById(R.id.button_show);

        Button matchButton = (Button) findViewById(R.id.button_match);

        Button showmatchButton = (Button) findViewById(R.id.button_showmatch);

        showButton.setOnClickListener(new View.OnClickListener() {

            @Override

            public void onClick(View v) {

                // show img in the Imageview

                File file = new File(filepath);

                if (file.exists()) {

                    testimg = BitmapFactory.decodeFile(filepath);

                    // 将图片显示到ImageView中

                    showimg.setImageBitmap(testimg);

                }

            }

        });

        matchButton.setOnClickListener(new View.OnClickListener() {

            @Override

            public void onClick(View v) {

                // show img in the Imageview

                isProcess = !isProcess;

            }

        });

        showmatchButton.setOnClickListener(new View.OnClickListener() {

            @Override

            public void onClick(View v) {

                // show img in the Imageview

                matchimg.setImageBitmap(matchbitmap);

            }

        });

    }

    @Override

    protected void onPause() {

        super.onPause();

        if (mOpenCvCameraView != null)

            mOpenCvCameraView.disableView();

    }

    public void onResume() {

        super.onResume();

        OpenCVLoader.initAsync(OpenCVLoader.OPENCV_VERSION_2_4_10, this,

                mLoaderCallback);

    }

    @Override

    protected void onDestroy() {

        Log.e("onDestroy", "INITIATED");

        super.onDestroy();

        if (mOpenCvCameraView != null)

            mOpenCvCameraView.disableView();

    }

    public void onCameraViewStarted(int width, int height) {

        mRgba = new Mat(height, width, CvType.CV_8UC3);

        mByte = new Mat(height, width, CvType.CV_8UC1);

    }

    public void onCameraViewStopped() { // Explicitly deallocate Mats

        mRgba.release();

    }

    public Mat onCameraFrame(CvCameraViewFrame inputFrame) {

        Bitmap s_testimg;

        Mat testimage = new Mat();

        Mat grayimage=new Mat();

        mRgba = inputFrame.rgba();

        mGray = inputFrame.gray();

        CONTOUR_COLOR = new Scalar(255);

        MatOfDMatch matches = new MatOfDMatch();

        MatOfKeyPoint keypoint_train = new MatOfKeyPoint();

        MatOfKeyPoint keypoint_test = new MatOfKeyPoint();

         KeyPoint kpoint = new KeyPoint();

        Mat mask = Mat.zeros(mGray.size(), CvType.CV_8UC1);

        Mat output = new Mat(); // Mat train=new Mat(); Mat

        Mat test = new Mat();

        Mat train = new Mat();

        if (isProcess) {

            FeatureDetector detector_train = FeatureDetector

                    .create(FeatureDetector.ORB);

            detector_train.detect(mGray, keypoint_train);

//            Features2d.drawKeypoints(mGray, keypoint_train, output, new Scalar(

//                    2, 254, 255), Features2d.DRAW_RICH_KEYPOINTS);

            DescriptorExtractor descriptor_train = DescriptorExtractor

                    .create(DescriptorExtractor.ORB);

            descriptor_train.compute(mGray, keypoint_train, train);

            s_testimg = Bitmap.createScaledBitmap(testimg, mGray.width(), mGray.height(), false);

            Utils.bitmapToMat(s_testimg, testimage);

            Imgproc.cvtColor(testimage, grayimage, Imgproc.COLOR_RGB2GRAY);

            FeatureDetector detector_test = FeatureDetector

                    .create(FeatureDetector.ORB);

            detector_test.detect(grayimage, keypoint_test);

//            Features2d.drawKeypoints(testimage, keypoint_test, output,

//                    new Scalar(2, 254, 255), Features2d.DRAW_RICH_KEYPOINTS);

            DescriptorExtractor descriptor_test = DescriptorExtractor

                    .create(DescriptorExtractor.ORB);

            descriptor_test.compute(grayimage, keypoint_test, test);

            DescriptorMatcher descriptormatcher = DescriptorMatcher

                    .create(DescriptorMatcher.BRUTEFORCE_HAMMING);

            descriptormatcher.match(test, train, matches);

            Features2d.drawMatches(grayimage,keypoint_test,mGray, keypoint_train, matches, output);

            matchbitmap=Bitmap.createScaledBitmap(testimg, output.width(),  output.height(), false);

            Utils.matToBitmap(output, matchbitmap);

            return mRgba;

        }

        return mRgba;

    }

}

三、实现过程中问题描述

问题1

android4OpenCV中无法使用SIFT API ,调试运行到这一位置出错。

原因：可能是SIFT这个属于nonfree模块，在手机上无法运行，也可能是SIFT计算时间长，存储空间太大。每个关键点128维，每维需要4个字节（float型）来存储，而一张图片可能有上百或者上千个关键点。

解决：改用其他特征来进行识别

可选项

static int
BRIEF

static int

BRISK

static int

FREAK

static int

static int

static int

static int

static int

static int

static int

ORB

BRIEF：主要思路就是在特征点附近随机选取若干点对，将这些点对的灰度值的大小，组合成一个二进制串，并将这个二进制串作为该特征点的特征描述子

分析见：http://www.cnblogs.com/ronny/p/4081362.html

ORB：RIEF的优点在于速度，缺点也相当明显：1：不具备旋转不变性。2：对噪声敏感3：不具备尺度不变性。ORB就解决上述1和2两个问题。

分析见：http://www.cnblogs.com/ronny/p/4083537.html

这些特征区别于SIFT在于：

SIFT特征采用了128维的特征描述子，由于描述子用的浮点数，所以它将会占用512 bytes的空间。类似地，对于SURF特征，常见的是64维的描述子，它也将占用256bytes的空间。如果一幅图像中有1000个特征点（不要惊讶，这是很正常的事），那么SIFT或SURF特征描述子将占用大量的内存空间，对于那些资源紧张的应用，尤其是嵌入式的应用，这样的特征描述子显然是不可行的。而且，越占有越大的空间，意味着越长的匹配时间。但是实际上SFIT或SURF的特征描述子中，并不是所有维都在匹配中有着实质性的作用。我们可以用PCA、LDA等特征降维的方法来压缩特征描述子的维度。还有一些算法，例如LSH，将SIFT的特征描述子转换为一个二值的码串，然后这个码串用汉明距离进行特征点之间的匹配。这种方法将大大提高特征之间的匹配，因为汉明距离的计算可以用异或操作然后计算二进制位数来实现，在现代计算机结构中很方便。

问题二：

01-24 10:23:58.251: E/AndroidRuntime(3535): CvException [org.opencv.core.CvException: cv::Exception: /hdd2/buildbot/slaves/slave_ardbeg1/50-SDK/opencv/modules/features2d/src/draw.cpp:208: error: (-215) i2 >= 0 && i2 < static_cast<int>(keypoints2.size()) in function void cv::drawMatches(const cv::Mat&, const std::vector<cv::KeyPoint>&, const cv::Mat&, const std::vector<cv::KeyPoint>&, const std::vector<cv::DMatch>&, cv::Mat&, const Scalar&, const Scalar&, const std::vector<char>&, int)

原因：descriptormatcher.match(test, train, matches);

Features2d.drawMatches(grayimage,keypoint_test,mGray, keypoint_train, matches, output);的参数写反了

第一个参数应该是test的图片，第二个参数是train的图片。要跟前面的match函数匹配起来。

两个参数写反了

五、总结和展望

OpenCV4android的资料确实太少，API和文档都不是很完善，需要先找到C++的实现然后转换到java上来。

这个程序还存在不少问题，很多功能都没有完善待添加功能

1.能够从图库中选取或者拍照得到测试的图片。

2.但测试图片从帧图像中找到匹配后，停止并在界面上显示匹配的图像。

代码地址：https://github.com/dawnminghuang/objectMatch