NCNN使用总结
NCNN简介
ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。ncnn 从设计之初深刻考虑手机端的部署和使用。无第三方依赖,跨平台,手机端 cpu 的速度快于目前所有已知的开源框架。基于 ncnn,开发者能够将深度学习算法轻松移植到手机端高效执行,开发出人工智能 APP,将 AI 带到你的指尖。ncnn 目前已在腾讯多款应用中使用,如 QQ,Qzone,微信,天天P图等。
关于安装、编译、使用步骤等不在赘述,官网有很详细文档
Windows | Linux | MacOS | Android | iOS | |
---|---|---|---|---|---|
intel-cpu | ✔️ | ✔️ | ✔️ | ❔ | / |
intel-gpu | ✔️ | ✔️ | ❔ | ❔ | / |
amd-cpu | ✔️ | ✔️ | ✔️ | ❔ | / |
amd-gpu | ✔️ | ✔️ | ❔ | ❔ | / |
nvidia-gpu | ✔️ | ✔️ | ❔ | ❔ | / |
qcom-cpu | ❔ | ✔️ | / | ✅ | / |
qcom-gpu | ❔ | ✔️ | / | ✔️ | / |
arm-cpu | ❔ | ❔ | / | ✅ | / |
arm-gpu | ❔ | ❔ | / | ✔️ | / |
apple-cpu | / | / | / | / | ✅ |
apple-gpu | / | / | / | / | ✔️ |
NCNN注意事项
其实ncnn已经是一个完整的库,很少有人去改源码,当然如果你项目特别需要使可以的。
使用出现问题主要是输入和输出的地方不对应,以下是本人使用出现的问题。
- 网络问题一
使用caffe模型的时候,input部分一定要写成规范格式:
input: "data"
layer {
name: "data"
type: "Input"
top: "data"
input_param { shape: { dim: 1 dim: 1 dim: 256 dim: 512 } }
}
千万别图省事写成如下格式,caffe可以运行没问题,但是转化无法识别,这个ncnn数据结构导致!!!
input: "data"
input_dim: 1
input_dim: 1
input_dim: 256
input_dim: 512
- 网络问题二
网络定义的层千万别出现重复情况,一定要规范定义:
layer {
name: "AAAA"
type: "Concat"
bottom: "box_softmax"
bottom: "conv6_2"
top: "concat_out1"
concat_param {
axis: 2
}
}
layer {
name: "BBBB"
type: "Concat"
bottom: "box_softmax"
bottom: "concat_out1"
top: "concat_out2"
concat_param {
axis: 2
}
}
千万别写成如下网络,在caffe可以稳定运行,但是ncnn会读取上第一次出现的top层!!!
第一层输出是concat_out1
,第二层输出也是concat_out1
,当使用ncnn.extract
会出现错误!!!
layer {
name: "AAAA"
type: "Concat"
bottom: "box_softmax"
bottom: "conv6_2"
top: "concat_out1"
concat_param {
axis: 2
}
}
layer {
name: "BBBB"
type: "Concat"
bottom: "box_softmax"
bottom: "concat_out1"
top: "concat_out1"
concat_param {
axis: 2
}
}
- NCNN网络问题三
这貌似是算作caffe
的问题,在笔者使用的过程忽略了这一点,干脆算NCNN
操作里面了。
Batch Normalization
层有个use_global_stats
参数,这个操作的作用是:是否使用caffe内部的均值和方差
换句话的意思就是:
---------true
:使用caffe内部的均值和方差,其中方差和均值都是固定的,模型训练好之后,这两个值就固定了。
---------false
:使用当前层计算的方差和均值,这个是不固定的,是在训练过程一直改变,训练好的时候达到最优。
其中NCNN
默认使用true
状态,不管是false
还是true
,最终都是算作true
caffe
测试的时候得手动设置为true
- NCNN输入数据一
正常来说ncnn
和caffe
原版的误差范围在0.001
左右,我的数据在0.000X
范围徘徊,如果你的数据精确不到第三个有效数字,那就得检查网络输入精度了。
输入的substract_mean_normalize
得尽量精确,尤其是归一化的值!!!
假设0-255
的图像需要归一化到0-1
:
const float noml_vals[1] = { 0.0078431372549019607843137254902f };
千万不要写成下面这样,读者可以自己测试,精度差别较大。
const float noml_vals[1] = { 0.0078 }
- NCNN输入数据二
这里没有错误点,只有心得点。
- 如果输入的是opencv的Mat对象,那只能是CV_8U类型,别想着去使用CV_32F等其他类型,对结果没有影响的。
- 关于使用opencv的处理图像和ncnn的处理图像效果一样,比如opencv的resize、normalize、cvtcolor等函数,和ncnn的from_pixels_resize、substract_mean_normalize效果基本没有区别,本人已经测试。
NCNN使用心得
小技巧
- 输出为多层
看了NCNN的官网给的例子,它是将输出转化为一行数据,然后一个一个的进行处理:
ncnn::Mat out_flatterned = out.reshape(out.w * out.h * out.c);
std::vector<float> scores;
scores.resize(out_flatterned.w);
for (int j=0; j<out_flatterned.w; j++)
{
scores[j] = out_flatterned[j];
}
个人感觉使用这种处理小数据还是可以的,本人使用网络输出100 × 100 × 10,这种情况该如何处理?
- 你可以使用那种方法去一个一个保存到数组,就是浪费点时间。
- 当你需要处理结果的时候呢?比如简单说去找每个channels的最大值,且主要知道坐标?
本人使用处理如下:
for (size_t i = 0; i < out.c; i++)
{
cv::Mat cv_mat = cv::Mat::zeros(cv::Size(100, 100), CV_8UC1);
ncnn::Mat ppp = out.channel(i);
//转化为opencv的Mat进行操作,因为有很多矩阵运算就很方便
ppp.to_pixels(cv_mat.data, ncnn::Mat::PIXEL_GRAY);
double max_c = 0, min_c = 0;
cv::Point min_loc, max_loc;
cv::minMaxLoc(cv_mat, &min_c, &max_c, &min_loc, &max_loc);
/*---------------后续操作-----------------*/
}
小想法
NCNN官网有个人问能不能输入和输出多个通道数据,后者已经在上文实现,以下看前者。
NCNN的输入为
Extractor.input(const char* blob_name, const Mat& in)
,其中in
是ncnn::Mat
类型数据,显然是可以多个channels输入的。
可以使用ncnn创建
100×100×10
数据,然后对每个channel通过from_pixel进行赋值操作即可。
没有经过具体实现,官网也没说明,不清楚能不能行,读者可以根据以上自己尝试。
NCNN使用总结的更多相关文章
- 修改ncnn的openmp异步处理方法 附C++样例代码
ncnn刚发布不久,博主在ios下尝试编译. 遇上了openmp的编译问题. 寻找各种解决方案无果,亲自操刀. 采用std::thread 替换 openmp. ncnn项目地址: https://g ...
- ncnn编译安装
1.git clone https://github.com/Tencent/ncnn 2.按照wiki说明来编译,根据需要,选择不同的编译方式.在ncnn/CMakeLists.txt中,可选择编译 ...
- Visual Studio上编译ncnn
prerequisite 是为了在PC上熟悉ncnn的基本代码,所以用Visual Studio来配置的. 期间用过VS2013(update5)/VS2015/VS2017,反正都是基于CMake生 ...
- vs2015 ncnn
1.vs2015编译器编译protobuf (VS2015 x64本机工具命令) 下载源码:https://github.com/google/protobuf/archive/v3.4.0.zi ...
- android ncnn
1.下载解压ndk wget https://dl.google.com/android/repository/android-ndk-r17b-linux-x86_64.zip unzip andr ...
- arm ncnn
ncnn网址:https://github.com/Tencent/ncnn 1. sudo apt-get update sudo apt-get upgrade 2. 命令:sudo apt-ge ...
- ncnn框架
1.下载和编译ncnn git clone https://github.com/Tencent/ncnn cd ncnn mkdir build && cd build cmake ...
- ncnn 源码学习-Mat.h Mat.c
纯小白记录下腾讯的ncnn框架源码的学习.纯粹写给自己看的,不保证正确性. Mat 类似于 caffe中的blob,是一个张量的存储结构体. 一.数据成员: 1.void * data 多维数据按一位 ...
- ncnn编译安装-20190415
ncnn编译安装 1.git clone https://github.com/Tencent/ncnn 2.按照wiki说明来编译,根据需要,选择不同的编译方式.在ncnn/CMakeLists.t ...
- ncnn添加自己的layer
ncnn 是tencent公司开源的神经网络前向计算框架,github地址: https://github.com/Tencent/ncnn 通过简单的步骤可以添加自己的layer, 比如用位运算实现 ...
随机推荐
- Java8新特性 - 方法引用与构造器引用
方法引用 若Lambda体中的内容有方法已经实现了,我们可以使用"方法应用",可以理解为方法引用是Lambda表达式的另外一种表现形式. 使用操作符"::"将方 ...
- jquery easyui form表单一开始就自动启用验证了,修改为form提交的时候在开启验证
<form method="post" action="<%=path %>" class="easyui-form" d ...
- 3_PHP表达式_1_常量
以下为学习孔祥盛主编的<PHP编程基础与实例教程>(第二版)所做的笔记. PHP常量分为自定义常量与预定义常量. 1.自定义常量 在使用前必须先定义,PHP的define()函数专门用于定 ...
- 浅谈javascript中变量作用域和内存(2)
1.无块级作用域 javascript没有块级作用域,这会让其他程序员在理解js代码上很痛苦.在其他很多语言,比如C,大括号括起来的代码块都有自己的作用域 举个例子 if(true) { var na ...
- 链接标签<a>去掉下划线
1.去掉下划线 text-decoration:none:
- 【日语】【ZZ】日语人称小结
[ZZ]日语人称小结 日语中有关人称的词很多,也有不少朋友问 现整理了一下,希望能对那些不太清楚的朋友有点帮助 如果您认为在下有写错的地方,或者您有什么高见,请不吝赐教 第一人称 “我” 1.私 わた ...
- STM8 uart1
举例 int main() { UART1_DeInit(); //波特率9600,数据位8,停止位1,校验位无,非同步模式,发送接收使能 UART1_Init(9600, UART1_WORDLEN ...
- iOS NSNotificationCenter 使用姿势详解
最近在做平板的过程中,发现了一些很不规范的代码.偶然修复支付bug的时候,看到其他项目代码,使用通知的地方没有移除,我以为我这个模块的支付闪退是因为他通知没有移除的缘故.而在debug和看了具体的代码 ...
- node.js 微信开发1-接入
准备工作1 域名准备 无论是个人开发还是做公司项目域名都是必不可少的 前期我个人用过花生壳做个开发测试,挺好用的,就是现在要收费了,开通花生壳要收费,开通内网穿透要收费(为啥要内网穿透呢,因为微信接入 ...
- java线程中如何使用spring依赖注入
实现一个线程继承了Thread或实现Runnable接口,想在run方法中使用spring依赖注入(操作数据库),此时报错为空指针,就是说没有注入进来. 实验了几种方式,分别说一下优缺点. 1:写了工 ...