NCNN简介

ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。ncnn 从设计之初深刻考虑手机端的部署和使用。无第三方依赖,跨平台,手机端 cpu 的速度快于目前所有已知的开源框架。基于 ncnn,开发者能够将深度学习算法轻松移植到手机端高效执行,开发出人工智能 APP,将 AI 带到你的指尖。ncnn 目前已在腾讯多款应用中使用,如 QQ,Qzone,微信,天天P图等。

关于安装、编译、使用步骤等不在赘述,官网有很详细文档

Windows Linux MacOS Android iOS
intel-cpu ✔️ ✔️ ✔️ /
intel-gpu ✔️ ✔️ /
amd-cpu ✔️ ✔️ ✔️ /
amd-gpu ✔️ ✔️ /
nvidia-gpu ✔️ ✔️ /
qcom-cpu ✔️ / /
qcom-gpu ✔️ / ✔️ /
arm-cpu / /
arm-gpu / ✔️ /
apple-cpu / / / /
apple-gpu / / / / ✔️

NCNN注意事项

其实ncnn已经是一个完整的库,很少有人去改源码,当然如果你项目特别需要使可以的。

使用出现问题主要是输入输出的地方不对应,以下是本人使用出现的问题。

  • 网络问题一

使用caffe模型的时候,input部分一定要写成规范格式:

input: "data"
layer {
name: "data"
type: "Input"
top: "data"
input_param { shape: { dim: 1 dim: 1 dim: 256 dim: 512 } }
}

千万别图省事写成如下格式,caffe可以运行没问题,但是转化无法识别,这个ncnn数据结构导致!!!

input: "data"
input_dim: 1
input_dim: 1
input_dim: 256
input_dim: 512
  • 网络问题二

网络定义的层千万别出现重复情况,一定要规范定义:

layer {
name: "AAAA"
type: "Concat"
bottom: "box_softmax"
bottom: "conv6_2"
top: "concat_out1"
concat_param {
axis: 2
}
}
layer {
name: "BBBB"
type: "Concat"
bottom: "box_softmax"
bottom: "concat_out1"
top: "concat_out2"
concat_param {
axis: 2
}
}

千万别写成如下网络,在caffe可以稳定运行,但是ncnn会读取上第一次出现的top层!!!

第一层输出是concat_out1,第二层输出也是concat_out1,当使用ncnn.extract会出现错误!!!

layer {
name: "AAAA"
type: "Concat"
bottom: "box_softmax"
bottom: "conv6_2"
top: "concat_out1"
concat_param {
axis: 2
}
}
layer {
name: "BBBB"
type: "Concat"
bottom: "box_softmax"
bottom: "concat_out1"
top: "concat_out1"
concat_param {
axis: 2
}
}
  • NCNN网络问题三

这貌似是算作caffe的问题,在笔者使用的过程忽略了这一点,干脆算NCNN操作里面了。

Batch Normalization层有个use_global_stats参数,这个操作的作用是:是否使用caffe内部的均值和方差

换句话的意思就是:

---------true :使用caffe内部的均值和方差,其中方差和均值都是固定的,模型训练好之后,这两个值就固定了。

---------false :使用当前层计算的方差和均值,这个是不固定的,是在训练过程一直改变,训练好的时候达到最优。

其中NCNN默认使用true状态,不管是false还是true,最终都是算作true

caffe测试的时候得手动设置为true

  • NCNN输入数据一

正常来说ncnncaffe原版的误差范围在0.001左右,我的数据在0.000X范围徘徊,如果你的数据精确不到第三个有效数字,那就得检查网络输入精度了。

输入的substract_mean_normalize得尽量精确,尤其是归一化的值!!!

假设0-255的图像需要归一化到0-1

const float noml_vals[1] = { 0.0078431372549019607843137254902f };

千万不要写成下面这样,读者可以自己测试,精度差别较大。

const float noml_vals[1] = { 0.0078 }
  • NCNN输入数据二

这里没有错误点,只有心得点。

  1. 如果输入的是opencv的Mat对象,那只能是CV_8U类型,别想着去使用CV_32F等其他类型,对结果没有影响的。
  2. 关于使用opencv的处理图像和ncnn的处理图像效果一样,比如opencv的resize、normalize、cvtcolor等函数,和ncnn的from_pixels_resize、substract_mean_normalize效果基本没有区别,本人已经测试。

NCNN使用心得

小技巧

  • 输出为多层

看了NCNN的官网给的例子,它是将输出转化为一行数据,然后一个一个的进行处理:

ncnn::Mat out_flatterned = out.reshape(out.w * out.h * out.c);
std::vector<float> scores;
scores.resize(out_flatterned.w);
for (int j=0; j<out_flatterned.w; j++)
{
scores[j] = out_flatterned[j];
}

个人感觉使用这种处理小数据还是可以的,本人使用网络输出100 × 100 × 10,这种情况该如何处理?

  1. 你可以使用那种方法去一个一个保存到数组,就是浪费点时间。
  2. 当你需要处理结果的时候呢?比如简单说去找每个channels的最大值,且主要知道坐标?

本人使用处理如下:

	for (size_t i = 0; i < out.c; i++)
{
cv::Mat cv_mat = cv::Mat::zeros(cv::Size(100, 100), CV_8UC1);
ncnn::Mat ppp = out.channel(i);
//转化为opencv的Mat进行操作,因为有很多矩阵运算就很方便
ppp.to_pixels(cv_mat.data, ncnn::Mat::PIXEL_GRAY);
double max_c = 0, min_c = 0;
cv::Point min_loc, max_loc;
cv::minMaxLoc(cv_mat, &min_c, &max_c, &min_loc, &max_loc);
/*---------------后续操作-----------------*/
}

小想法

NCNN官网有个人问能不能输入和输出多个通道数据,后者已经在上文实现,以下看前者。

  • NCNN的输入为Extractor.input(const char* blob_name, const Mat& in),其中inncnn::Mat类型数据,显然是

    可以多个channels输入的。

  • 可以使用ncnn创建100×100×10数据,然后对每个channel通过from_pixel进行赋值操作即可。

没有经过具体实现,官网也没说明,不清楚能不能行,读者可以根据以上自己尝试。

NCNN使用总结的更多相关文章

  1. 修改ncnn的openmp异步处理方法 附C++样例代码

    ncnn刚发布不久,博主在ios下尝试编译. 遇上了openmp的编译问题. 寻找各种解决方案无果,亲自操刀. 采用std::thread 替换 openmp. ncnn项目地址: https://g ...

  2. ncnn编译安装

    1.git clone https://github.com/Tencent/ncnn 2.按照wiki说明来编译,根据需要,选择不同的编译方式.在ncnn/CMakeLists.txt中,可选择编译 ...

  3. Visual Studio上编译ncnn

    prerequisite 是为了在PC上熟悉ncnn的基本代码,所以用Visual Studio来配置的. 期间用过VS2013(update5)/VS2015/VS2017,反正都是基于CMake生 ...

  4. vs2015 ncnn

    1.vs2015编译器编译protobuf   (VS2015 x64本机工具命令) 下载源码:https://github.com/google/protobuf/archive/v3.4.0.zi ...

  5. android ncnn

    1.下载解压ndk wget https://dl.google.com/android/repository/android-ndk-r17b-linux-x86_64.zip unzip andr ...

  6. arm ncnn

    ncnn网址:https://github.com/Tencent/ncnn 1. sudo apt-get update sudo apt-get upgrade 2. 命令:sudo apt-ge ...

  7. ncnn框架

    1.下载和编译ncnn git clone https://github.com/Tencent/ncnn cd ncnn mkdir build && cd build cmake ...

  8. ncnn 源码学习-Mat.h Mat.c

    纯小白记录下腾讯的ncnn框架源码的学习.纯粹写给自己看的,不保证正确性. Mat 类似于 caffe中的blob,是一个张量的存储结构体. 一.数据成员: 1.void * data 多维数据按一位 ...

  9. ncnn编译安装-20190415

    ncnn编译安装 1.git clone https://github.com/Tencent/ncnn 2.按照wiki说明来编译,根据需要,选择不同的编译方式.在ncnn/CMakeLists.t ...

  10. ncnn添加自己的layer

    ncnn 是tencent公司开源的神经网络前向计算框架,github地址: https://github.com/Tencent/ncnn 通过简单的步骤可以添加自己的layer, 比如用位运算实现 ...

随机推荐

  1. Spring AOP日志实现(一)

    前置通知:获取访问的类,访问的方法,带参数和不带参数的 日志表信息描述字段: 获取访问时长:

  2. Educational Codeforces Round 61 (Div.2)

    A.(c1=0&&c3>0)||(c1!=c4) #include<cstdio> #include<cstring> #include<algor ...

  3. Electron-vue中通过WebAudioApi实现录音功能,并转换为mp3格式,实时监测音频设备变化

    实现以下功能: 1.检测当前音频环境,是否支持录音(WebAudio Api): 2.获取输入.输出设备列表,获取电脑默认的音频设备: 3.试音功能,通过分析录音样本数据,判断是否录到声音: 4.实时 ...

  4. C#不支持XPATH2.0

    .net中的XPATH是1.0版本的,很多2.0中的函数是不兼容的,比如lower-case().replace()函数等,下面中的XPATH语句在运行时会报错 //table[contains(lo ...

  5. JS的DOM和BOM

    * JavaScript分三个部分: ECMAScript标准:JS的基本的语法 DOM:Document Object Model --->文档对象模型----操作页面的元素 BOM:Brow ...

  6. shim和polyfill 区别解释

    polyfill 是 shim 的一种.shim 是将不同 api 封装成一种,比如 jQuery 的 $.ajax 封装了 XMLHttpRequest 和 IE 用 ActiveXObject 方 ...

  7. OS X系统特有文件目录说明

    os x特有的目录 OS X系统中,除了标准的unix目录外,还增加了特有的目录. /Applications 应用程序目录,默认所有的GUI应用程序都安装在这里: /Library 系统的数据文件. ...

  8. ASCII&UNICODE编码演化

    ASCII 上个世纪60年代,美国制定了基于拉丁字母的一套电脑编码系统,取名为ASCII.它主要用于显示现代英语和其他西欧语言,是现今最通用的单字节编码系统. ASCII码使用指定的7位或8位二进制数 ...

  9. ios下按钮click事件点击穿透问题

    和app进行混合开发的时候,一个页面使用h5写的,按钮上绑定click事件会触发下面图片上的a链接导致跳转,页面如图 顶部是一个banner,分vr.视频.图片三部分,红框处的三个nav按钮绑定cli ...

  10. body onload()事件和table insertRow()、tr insertCell()

    onload事件: 定义和用法: onload 事件会在页面或图像加载完成后立即发生. onload 通常用于 <body> 元素,在页面完全载入后(包括图片.css文件等等.)执行脚本代 ...