MACE(3)-----工程化

作者：十岁的小男孩

QQ：929994365

能下者，上。

前言

　　本文是MACE的第三步即MACE环境编译出来的库在Android工程中的使用。在第一篇博文中通过mace官方提供的安卓工程进行调试，本文将其精简，只关心其数据流的逻辑过程。该工程功能是mace的demo物体识别，即传入一张图片，模型识别预测将结果在桌面显示。本人萌新一枚，学习安卓有一月多了，工程漏洞百出，望相互学习。下一篇博文会对mace做一个全面的总结。本部分的学习需要掌握JNI/NDK技术，若有问题浏览前面文章。

　　MACE(1)-----环境搭建：https://www.cnblogs.com/missidiot/p/9480033.html

　　MACE(2)-----模型编译：https://www.cnblogs.com/missidiot/p/9509831.html

　　JNI/NDK：https://www.cnblogs.com/missidiot/p/9716902.html

经过mace环境编译出文件如下：

此处应该有图！！！

给Android studio配置NDK版本，其版本与编译版本应一致，本文是r-16b。

新建工程，勾选c++支持选项框。

其c++标准库选择c++11。

以上工程构建完毕。

Android studio2.2版本以上采用的是CMake编译，加载库在CMakeLists.txt文件中配置。在MainActivity中加载库，如下：

库的名称自己更改：比如本文改为"mace_jni"，相对应的在CMakeLists.txt文件中修改名称和创建对应的cpp文件，即mace_jni.cpp，如下图：

在MainActivity中加载库；

static {
        System.loadLibrary("mace_jni");
    }

在CMakeLists.txt文件中修改；（刚开始文件如下）

cmake_minimum_required(VERSION 3.4.1)

add_library(
             mace_jni

             SHARED

             src/main/cpp/mace_jni.cpp )

find_library(
              log-lib

              log )

target_link_libraries(
                       mace_jni

                       ${log-lib} )

CMakeLists最终文件如下：（加载编译出的a库）

cmake_minimum_required(VERSION 3.4.1)

#set(CMAKE_LIBRARY_OUTPUT_DIRECTORY ${PROJECT_SOURCE_DIR}/../app/libs/${ANDROID_ABI})

# 这块路径有点问题
include_directories(${CMAKE_SOURCE_DIR}/)
include_directories(${CMAKE_SOURCE_DIR}/src/main/cpp/public)

# libmace.a是mace编译生成的，这块以后要改的在这块
set(mace_lib ${CMAKE_SOURCE_DIR}/src/main/cpp/lib/arm64-v8a/libmace.a)
# set(mace_lib ${CMAKE_SOURCE_DIR}/src/main/cpp/lib/armeabi-v7a/libmace.a)

# mobilneet.a也是mace环境编译生成的，后期如果生成的话要改在这里
set(mobilenet_lib ${CMAKE_SOURCE_DIR}/src/main/cpp/model/arm64-v8a/mobilenet.a)
# set(mobilenet_lib ${CMAKE_SOURCE_DIR}/src/main/cpp/model/armeabi-v7a/mobilenet.a)

add_library (mace_lib STATIC IMPORTED)
set_target_properties(mace_lib PROPERTIES IMPORTED_LOCATION ${mace_lib})

add_library (mobilenet_lib STATIC IMPORTED)
set_target_properties(mobilenet_lib PROPERTIES IMPORTED_LOCATION ${mobilenet_lib})

add_library( # Sets the name of the library.
             mace_jni

             SHARED

             src/main/cpp/mace_jni.cpp

             )
find_library(
              log-lib
              log )

target_link_libraries( # Specifies the target library.
                        mace_jni
                        mace_lib
                        mobilenet_lib
                       ${log-lib} )

创建mace_jni.cpp文件，实现native方法。

在java包下新建JniUtils.java，将native方法的声明放在其中，当然也将MainActivity中的加载库代码剪切放在JniUtils文件中。并声明三个方法，会自动在mace_jni.cpp下自动被声明。新建方法会显示红色报错，在AS中快捷键是alt+enter创建方法在mace_jni.cpp文件中。

package com.tcl.weilong.mace;

public class JniUtils {
    static {
        System.loadLibrary("mace_jni");
    }

    /**
     * 给模型设置参数
     * @param ompNumThreads
     * @param cpuAffinityPolicy
     * @param gpuPerfHint
     * @param gpuPriorityHint
     * @param kernelPath
     * @return
     */

    public   native int maceMobilenetSetAttrs(int ompNumThreads, int cpuAffinityPolicy, int gpuPerfHint, int gpuPriorityHint, String kernelPath);
    /**
     * 给模型创建运行环境
     * @param model
     * @param device
     * @return
     */
    public  native int maceMobilenetCreateEngine(String model, String device);

    /**
     * 模型具体核心功能，识别图片
     * @param input
     * @return
     */
    public  native float[] maceMobilenetClassify(float[] input);
}

在mace_jni.cpp文件中自动生成对声明方法的实现声明：

在build.gradle文件中更改为如下代码：

externalNativeBuild {
            cmake {
                cppFlags "-std=c++11 -fopenmp"
                abiFilters "arm64-v8a"
            }
        }

将mace附带的example工程中的lib，model，public三个文件拷贝到cpp文件夹下面并在加载时候修改路径，按如下目录结构。

最为该工程核心的是在java声明的native方法在底层c/c++中具体实现，以下代码是以上三个方法在mace_jni.cpp文件中的具体实现：

#include <jni.h>
#include <algorithm>
#include <functional>
#include <map>
#include <memory>
#include <string>
#include <vector>
#include <numeric>

#include "public/mace.h"
#include "public/mace_runtime.h"
#include "public/mace_engine_factory.h"

namespace {

    struct ModelInfo {
        std::string input_name;
        std::string output_name;
        std::vector<int64_t> input_shape;
        std::vector<int64_t> output_shape;
    };
//有的地方叫.cc也可以叫.cpp其实一个意思，实质为区别c文件的
    struct MaceContext {
        std::shared_ptr<mace::MaceEngine> engine;
        std::shared_ptr<mace::KVStorageFactory> storage_factory;
        std::string model_name;
        mace::DeviceType device_type = mace::DeviceType::CPU;
        //模型的输入输出在这里改
        std::map<std::string, ModelInfo> model_infos = {
                {"mobilenet_v1", {"input", "MobilenetV1/Predictions/Reshape_1",
                                         {1, 224, 224, 3}, {1, 1001}}},
                {"mobilenet_v2", {"input", "MobilenetV2/Predictions/Reshape_1",
                                         {1, 224, 224, 3}, {1, 1001}}}
        };
    };

    mace::DeviceType ParseDeviceType(const std::string &device) {
        if (device.compare("CPU") == 0) {
            return mace::DeviceType::CPU;
        } else if (device.compare("GPU") == 0) {
            return mace::DeviceType::GPU;
        } else if (device.compare("HEXAGON") == 0) {
            return mace::DeviceType::HEXAGON;
        } else {
            return mace::DeviceType::CPU;   //默认是返回CPU
        }
    }

    MaceContext& GetMaceContext() {
        static auto *mace_context = new MaceContext;

        return *mace_context;
    }

}   //namcspace
/**
 * java+包名+类名+函数名
 * Java+com.tcl.weilong.mace+JniUtils+maceMobilenetSetAttrs
 */
extern "C"
jint Java_com_tcl_weilong_mace_JniUtils_maceMobilenetSetAttrs(JNIEnv *env, jobject instance,
                                                         jint ompNumThreads, jint cpuAffinityPolicy,
                                                         jint gpuPerfHint, jint gpuPriorityHint,
                                                         jstring kernelPath_) {
    MaceContext &mace_context = GetMaceContext();
    mace::MaceStatus status;
    // openmp ？？
    status = mace::SetOpenMPThreadPolicy(
            ompNumThreads,
            static_cast<mace::CPUAffinityPolicy>(cpuAffinityPolicy));
    //  gpu
    mace::SetGPUHints(
            static_cast<mace::GPUPerfHint>(gpuPerfHint),
            static_cast<mace::GPUPriorityHint>(gpuPriorityHint));
    //  opencl cache
    const char *kernel_path_ptr = env->GetStringUTFChars(kernelPath_, nullptr);
    if (kernel_path_ptr == nullptr) return JNI_ERR;
    const std::string kernel_file_path(kernel_path_ptr);
    mace_context.storage_factory.reset(
            new mace::FileStorageFactory(kernel_file_path));
    mace::SetKVStorageFactory(mace_context.storage_factory);
    env->ReleaseStringUTFChars(kernelPath_, kernel_path_ptr);
    return JNI_OK;
}
extern "C"
jint Java_com_tcl_weilong_mace_JniUtils_maceMobilenetCreateEngine(JNIEnv *env, jobject instance,
                                                             jstring model_, jstring device_) {
    MaceContext &mace_context = GetMaceContext();
    //  parse model name
    const char *model_name_ptr = env->GetStringUTFChars(model_, nullptr);
    if (model_name_ptr == nullptr) return JNI_ERR;
    mace_context.model_name.assign(model_name_ptr);
    env->ReleaseStringUTFChars(model_, model_name_ptr);

    //  load model input and output name
//    auto model_info_iter = mace_context.model_infos.find(mace_context.model_name);
    auto model_info_iter = mace_context.model_infos.find(mace_context.model_name);
    if (model_info_iter == mace_context.model_infos.end()) {

        return JNI_ERR;
    }
    std::vector<std::string> input_names = {model_info_iter->second.input_name};

    std::vector<std::string> output_names = {model_info_iter->second.output_name};

    // get device
    const char *device_ptr = env->GetStringUTFChars(device_, nullptr);
    if (device_ptr == nullptr) return JNI_ERR;
    mace_context.device_type = ParseDeviceType(device_ptr);
    env->ReleaseStringUTFChars(device_, device_ptr);

    mace::MaceStatus create_engine_status =
            CreateMaceEngineFromCode(mace_context.model_name,
                                     std::string(),
                                     input_names,
                                     output_names,
                                     mace_context.device_type,
                                     &mace_context.engine);

    return create_engine_status == mace::MaceStatus::MACE_SUCCESS ?
           JNI_OK : JNI_ERR;
}extern "C"
jfloatArray Java_com_tcl_weilong_mace_JniUtils_maceMobilenetClassify(JNIEnv *env, jobject instance,
                                                         jfloatArray input_) {
    MaceContext &mace_context = GetMaceContext();
    //  prepare input and output
    auto model_info_iter =
            mace_context.model_infos.find(mace_context.model_name);
    if (model_info_iter == mace_context.model_infos.end()) {

        return nullptr;
    }
    const ModelInfo &model_info = model_info_iter->second;
    const std::string &input_name = model_info.input_name;
    const std::string &output_name = model_info.output_name;
    const std::vector<int64_t> &input_shape = model_info.input_shape;
    const std::vector<int64_t> &output_shape = model_info.output_shape;
    const int64_t input_size =
            std::accumulate(input_shape.begin(), input_shape.end(), 1,
                            std::multiplies<int64_t>());
    const int64_t output_size =
            std::accumulate(output_shape.begin(), output_shape.end(), 1,
                            std::multiplies<int64_t>());

    //  load input
    jfloat *input_data_ptr = env->GetFloatArrayElements(input_, nullptr);
    if (input_data_ptr == nullptr) return nullptr;
    jsize length = env->GetArrayLength(input_);
    if (length != input_size) return nullptr;

    std::map<std::string, mace::MaceTensor> inputs;
    std::map<std::string, mace::MaceTensor> outputs;
    // construct input
    auto buffer_in = std::shared_ptr<float>(new float[input_size],
                                            std::default_delete<float[]>());
    std::copy_n(input_data_ptr, input_size, buffer_in.get());
    env->ReleaseFloatArrayElements(input_, input_data_ptr, 0);
    inputs[input_name] = mace::MaceTensor(input_shape, buffer_in);

    // construct output
    auto buffer_out = std::shared_ptr<float>(new float[output_size],
                                             std::default_delete<float[]>());
    outputs[output_name] = mace::MaceTensor(output_shape, buffer_out);

    // run model
    mace_context.engine->Run(inputs, &outputs);

    // transform output
    jfloatArray jOutputData = env->NewFloatArray(output_size);  // allocate
    if (jOutputData == nullptr) return nullptr;
    env->SetFloatArrayRegion(jOutputData, 0, output_size,
                             outputs[output_name].data().get());  // copy

    return jOutputData;
}

　　以上步骤将模型底层运行环境准备好了，接下来继续封装为模型准备数据及其数据结果展示表层工作。

建立AppModel.java为模型准备输入数据和接受模型的预测结果数据作为MainActivity和底层native方法的桥梁。

说明：这个文件有四个方法，首先是对模型的设置参数，第二个是对模型创建一个运行环境实在cpu还是在gpu下运行，第三个是对识别功能准备数据将其转换为rgb，第四个是核心功能即物体识别。

package com.tcl.weilong.mace;

import android.graphics.Bitmap;
import android.os.Environment;
import android.util.Log;
import java.io.File;
import java.nio.FloatBuffer;

public class AppModel {
    JniUtils jniUtils = new JniUtils();
    //这些参数的值具体代表什么尚未搞清楚
    int ompNumThreads = 2;  //线程个数
    int cpuAffinityPolicy = 0;  //
    int gpuPerfHint = 3;    //
    int gpuPriorityHint = 3;    //
    String kernelPath = Environment.getExternalStorageDirectory().getAbsolutePath() + File.separator + "mace";  //内核路径

    public static final String[] MODELS = new String[]{"mobilenet_v1", "mobilenet_v2"}; //模型名称，这块不要de
    public static final String[] DEVICES = new String[]{"CPU", "GPU"};  //设备

    String model = MODELS[1]; //mobilenet_v2
    String device = DEVICES[0]; //CPU

    private int[] colorValues; //存储RGB颜色数据
    private FloatBuffer floatBuffer; //输入缓存

    /**
     * 给模型设置属性
     */
    public void maceMobilenetSetAttrs(){
        int attrs;
        attrs = jniUtils.maceMobilenetSetAttrs(ompNumThreads,cpuAffinityPolicy,gpuPerfHint,gpuPriorityHint,kernelPath);
        Log.d("idiot","attrs="+attrs);
    }

    /**
     * 给模型创建运行引擎，cpu或者gpu
     */
    public void maceMobilenetCreateEngine(){
        int engine;
        engine = jniUtils.maceMobilenetCreateEngine(model,device);
        Log.d("idiot","engin="+engine);
    }

    /**
     * 输入数据处理，将照片转换成数组 float[]，bitmap是224*224的大小
     * @param bitmap 要处理的原始图片
     * @return 将图片处理后转换成像素点进行返回
     */
    public FloatBuffer dealPic(Bitmap bitmap){
        //这块要创建一个224*224的图片是针对输入原始图片创建的，每一行有224个像素点，共有224行
        colorValues = new int[224 * 224];   //存储像素
        float[] floatValues = new float[224 * 224 * 3]; //RGB像素*3
        floatBuffer = FloatBuffer.wrap(floatValues, 0, 224 * 224 * 3);
        //这个函数要深究，从（0，0）点开始平移，平移尺度是单元尺寸的一个宽度。
        bitmap.getPixels(colorValues, 0, bitmap.getWidth(), 0, 0, bitmap.getWidth(), bitmap.getHeight());
        floatBuffer.rewind();   //？？
        //最核心的图像像素点的变化，根本没懂
            for (int i = 0; i < colorValues.length; i++) {
                int value = colorValues[i];
                floatBuffer.put((((value >> 16) & 0xFF) - 128f) / 128f);
                floatBuffer.put((((value >> 8) & 0xFF) - 128f) / 128f);
                floatBuffer.put(((value & 0xFF) - 128f) / 128f);
            }
            return floatBuffer;
    }
    /**
     * 模型的分类函数
     * @param input 缓存的像素点
     * @return  识别结果数据，在类标中匹配识别
     */
    public float[] maceMobilenetClassify(FloatBuffer input){
        float[] result;
        result = jniUtils.maceMobilenetClassify(input.array());
        return result;
    }
}

　　以上文件即可实现对模型输入图片的功能，下面的文件是对识别结果进行匹配。创建LableCache.java文件实现：

package com.tcl.weilong.mace;

import android.content.Context;
import android.content.res.AssetManager;
import android.util.Log;
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.Collections;
import java.util.List;

public class LabelCache {

    private List<Float> floatList = new ArrayList<>();  //每张识别结果的概率
    private List<String> resultLabel = new ArrayList<>();   //识别结果缓存列表
    private ResultData mResultData; //

    /**
     * 加载类标的资源文件
     * @param context 上下文
     */
    public void readCacheLabelFromLocalFile(Context context) {
        try {
            AssetManager assetManager = context.getAssets();    //获取资源管理器
            //从资源管理器中加载标签文件，所有的结果在文本文件中，识别的结果在label中去匹配
            BufferedReader reader = new BufferedReader(new InputStreamReader(assetManager.open("cacheLabel.txt")));
            String readLine = null;
            while ((readLine = reader.readLine()) != null) {
                Log.d("labelCache", "readLine = " + readLine);
                resultLabel.add(readLine);  //原文是移动识别，这样一张大的图片会识别很多个，将所有识别的都放在该列表里，该最简工程只识别了最小识别单元
            }
            reader.close();
        } catch (Exception e) {
            Log.e("labelCache", "error " + e);
        }
    }

    /**
     *  获取所有识别结果中概率最高的一个值进行返回
     * @param floats 识别结果值： result = appModel.maceMobilenetClassify(input);
     * @return 将识别的结果值存储到data中返回
     */
    public ResultData getResultFirst(float[] floats) {
        floatList.clear();
        for (float f : floats) {
            floatList.add(f);
        }
        float maxResult = Collections.max(floatList);   //在所有识别结果中获取最大的概率即为最终识别结果

        int indexResult = floatList.indexOf(maxResult);
        if (indexResult < resultLabel.size()) {
            String result = resultLabel.get(indexResult);
            if (result != null) {
                if (mResultData == null) {
                    mResultData = new ResultData(result, maxResult);
                } else {
                    mResultData.updateData(result, maxResult);
                }
                return mResultData;
            }
        }
        return null;
    }
}

　　所需的资源文件为cacheLabel.txt文件在assets资源文件夹下面。

　　

以上工作将识别的结果已经拿到，由于结果包括识别名称，识别的时间和相对应的概率，我们需要data包来封装这些数据，创建ResultData.java文件封装。

package com.tcl.weilong.mace;

public class ResultData {
    public String name; //识别结果内容
    public float probability;   //识别的可能性，概率值
    public long costTime;  // 运行时间

    /**
     * 构造函数，只有名称和识别概率值
     * @param name
     * @param probability
     */
    public ResultData(String name, float probability) {
        this.name = name;
        this.probability = probability;
    }

    /**
     * 构造函数
     * @param name
     */
    public ResultData(String name) {
        this.name = name;
    }

    /**
     * 更新名称和概率值，这个函数原工程中使用用于不断的识别，更新名称显示
     * @param name
     * @param probability
     */
    public void updateData(String name, float probability) {
        this.name = name;
        this.probability = probability;
    }

}

　　接下来对拿到的数据进行展示，展示比较简单。其activity.xml文件如下：

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:orientation="vertical"
    android:layout_height="match_parent"
    android:layout_width="match_parent">
    <ImageView
        android:id="@+id/iv"
        android:layout_width="match_parent"
        android:layout_height="400dp"
        android:layout_gravity="center_horizontal" />
    <TextView
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:id="@+id/tv"/>
</LinearLayout>

　　最后MainActivity.java文件进行调度：

package com.tcl.weilong.mace;

import android.content.Context;
import android.graphics.Bitmap;
import android.graphics.BitmapFactory;
import android.support.v7.app.AppCompatActivity;
import android.os.Bundle;
import android.util.Log;
import android.widget.ImageView;
import android.widget.TextView;
import android.widget.Toast;
import java.nio.FloatBuffer;

public class MainActivity extends AppCompatActivity {

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        ImageView iv = findViewById(R.id.iv);
        TextView tv =  findViewById(R.id.tv);
        float[] result;
        //获取图片，图片的大小是224 * 224，由于模型的识别输入是该大小，如果是一张大图片就会顺次平移类似于CNN一样
        BitmapFactory.Options options = new BitmapFactory.Options();
        options.inScaled = false;
        Bitmap bitmap = BitmapFactory.decodeResource(getResources(),R.drawable.mouse,options);
        Log.d("idiot","width:"+bitmap.getWidth()+";height:"+bitmap.getHeight());
        iv.setImageBitmap(bitmap);  //只显示了图片，这块没有意义，原意该处为图片的获取及其展示

        LabelCache labelCache = new LabelCache();       //模型结果label
        Context context = getApplicationContext();
        labelCache.readCacheLabelFromLocalFile(context);    //加载label资源文件

        AppModel appModel = new AppModel();
        appModel.maceMobilenetSetAttrs();      //为模型设置环境
        appModel.maceMobilenetCreateEngine();

        FloatBuffer input = appModel.dealPic(bitmap);   //加载输入识别照片，返回缓存的像素点单元
        long start = System.currentTimeMillis();
        result = appModel.maceMobilenetClassify(input); //该工程的核心功能块，识别图片
        long end = System.currentTimeMillis();
        long costTime = end - start;    //识别一张图片的时间
        Toast.makeText(this,"CostTime： "+costTime+" ms",Toast.LENGTH_LONG).show();

        ResultData data;
        data = labelCache.getResultFirst(result);   //将返回的结果对照label处理
        data.costTime = costTime;
        String resultt = data.name  + "\n" + data.probability + "\ncost time(ms): " + data.costTime;
        tv.setText(resultt);    //展示结果
    }

}

注意：

1.传入的图片是224*224大小，这个问题以后会更改。

2.运行的cpu架构是armv-8的，这个问题没有解决。

模拟器运行结果如下：采用的模拟器时间很慢。

真机测试运行时间和内存消耗结果：

CPU：

GPU：

MACE采用GPU加速，时间和硬件消耗缩减一半左右。