随想:目标识别中,自适应样本均衡设计,自适应模型结构(参数可变自适应,模型结构自适应,数据类别or分布自适应)
在现在的机器学习中,很多人都在研究自适应的参数,不需要人工调参,但是仅仅是自动调参就不能根本上解决
ai识别准确度达不到实际生产的要求和落地困难的问题吗?结论可想而知。如果不改变参数,那就得从算法的结构入手,
比如,现有的谷歌的MnasNet系列,这种是在人工的指导下进行的,但是,仅仅是这样就够了吗?我个人觉得还不够
1、在做机器学习的时候,我们模型的指标提不上去的时候,通常原因是因为边缘样本,也就是我们所说的hard-example,
如果和解决边缘样本呢?目前是人工发现这些样本并增加hard-example数量达到改善模型指标的方式。还有一种方式,就是
将边缘样本细分,将边缘样本单独作为一类别,从而成为非边缘样本。(样本边缘性是相对的,当你将某一个样本作为主要类别,
则与该样本模式相差较大但是划分为同一类别的就是边缘样本。)
2、目前算法是很笨的,他不具备潜意识,只是学习你喂的数据,因此从表现上改变数据的结构,分类,细化问题,可能获得更好的模型体现。
3、但是,问题来了,上面只是从样本上面去做改变,如何从算法方面作出改变呢?
梯度提升树(boost)的优势就是他会将识别错误的样本的基础上,重新训练获得新的决策,(第二颗树训练的目标是基于第一棵树的识别结构的),
而,目前损失函数,就是计算训练样本的和label的之间的loss,并不关注,每个样本loss大小变换与不同的问题。实际上,对于边缘样本,脏样本,
在训练迭代到后期,这些样本的地loss是比较大的,就是他们存在,算法不能收敛完全(比如,后期好的样本的loss已经很低了,每来一次干扰样本,
导致训练,训偏了,这种偏差将需要好几个正常样本的来“修复”)。这时候就想出了,是否除了参数可变自适应,模型结构自适应,数据类别or分布自适应呢?
数据分布自适应:
数据分布自适应,我觉得类似k-means,自适应寻找模型内部的分布,并挖掘这个样本数据集合到底要怎么分类,分几个类别,当然,要结和业务角度出发,
不能破坏我们原有的需求。比如自适应的感受野,在识别卡车和行人问题上,我们能不能根据卡车大小统计和人的大小统计从而归纳出识别人需要几层网络,识别卡车需要几层网络,
然后,在一个网络中,比如,卡车需要M层,人需要N层,则算法自动选取ob=max(M,N)层,当达到M层时自动设计一个针对卡车的输出,N层时,自动设计针对人的输出等等。
也许目前人工智能是因为人工标注学习的结果,也许目前算法还不够智能,也是局限于人工的标注(人工智能成也人工,败也人工?),而不能超越人工的框框架架下面。
随想:目标识别中,自适应样本均衡设计,自适应模型结构(参数可变自适应,模型结构自适应,数据类别or分布自适应)的更多相关文章
- 如何去设计一个自适应的网页设计或HTMl5
如何去设计一个自适应的网页设计或HTMl5 如今移动互联网随着3G的普及,越来越火爆,更多需求跟随而来!APP应用市场和APP应用数量成倍成倍的增长!从而给移动互联网带来新的挑战! 移动设备正超过桌面 ...
- 重复造轮子系列——基于FastReport设计打印模板实现桌面端WPF套打和商超POS高度自适应小票打印
重复造轮子系列——基于FastReport设计打印模板实现桌面端WPF套打和商超POS高度自适应小票打印 一.引言 桌面端系统经常需要对接各种硬件设备,比如扫描器.读卡器.打印机等. 这里介绍下桌面端 ...
- Java生鲜电商平台-生鲜系统中微服务架构设计与分析实战
Java生鲜电商平台-生鲜系统中微服务架构设计与分析实战 说明: Java生鲜系统中微服务的拆分应该如何架构设计与分析呢?以下是我的实战中的设计与经验分析. 目录 1. 微服务简介2. 当前现状3. ...
- 以项目谈WebGIS中Web制图的设计和实现
文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/ 1.背景介绍 一般WebGIS项目中,前端展示数据的流程基本是先做数据入 ...
- (十二) WebGIS中矢量图层的设计
文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/. 1.前言 在前几章中我们已经了解了什么是矢量查询.屏幕坐标与地理坐标之 ...
- 关于ASP.NET中的负载均衡
ASP.NET站点中做负载均衡: 基于HTTP协议我们可能发现我们要解决两点问题: 第一做到负载均衡,我们需要一个负载均衡器. 可以通过DNS轮询来做,在DNS服务器上配置为每次对我们做负载均衡的同一 ...
- Cloud Foundry中warden的网络设计实现——iptable规则配置
在Cloud Foundry v2版本号中,该平台使用warden技术来实现用户应用实例执行的资源控制与隔离. 简要的介绍下warden,就是dea_ng假设须要执行用户应用实例(本文暂不考虑ward ...
- MEF插件系统中通信机制的设计和实现
MEF插件系统中通信机制的设计和实现 1.背景 一般的WinForm中通过C#自带的Event机制便能很好的实现事件的注册和分发,但是,在插件系统中却不能这么简单的直接用已有的类来完成.一个插件本不包 ...
- VxWorks中的中断应用设计要点
硬件中断处理是实时系统设计中的关键性问题,设计人员有必要对其作深入研究,以更好地满足开发工作需要.文中以VxWorks操作系统为软件平台,讨论了在实时系统中进行中断应用设计时要注意的一些问题.由于软硬 ...
随机推荐
- Unity 3D中的阴影设置
在Unity 3D中,经常需要用到光照阴影,即Directional Light的Shadow,Shadow分为Hard Shadow和Soft Shadow.区别是Soft Shadow的阴影边缘比 ...
- v4l2框架分析
参考:https://www.cnblogs.com/fengong/p/4424823.html http://www.cnblogs.com/fengong/p/4424895.html 一 ...
- C#模拟Https请求时出现 基础连接已经关闭 未能为 SSLTLS 安全通道建立信任关系
//解决方法: //引入命名空间: using System.Security.Cryptography.X509Certificates; using System.Net.Security; // ...
- TypeScript安装备忘:npm proxy设置
如果使用了代理网络,因为npm无法自动识别Internet代理,则需要手动设置npm代理才能下载包. 设置命令: npm config set proxy http://proxyhost:pr ...
- C# 6.0:Null – Conditional 操作符
在引入nameof操作符的同时,C# 6.0 还引入了Null-Conditional操作符.它使开发者可以检查object引用链中的null值.这个null-conditional 操作符写作&qu ...
- Kubernetes的三种外部访问方式:NodePort、LoadBalancer和Ingress(转发)
原文 http://cloud.51cto.com/art/201804/570386.htm Kubernetes的三种外部访问方式:NodePort.LoadBalancer和Ingress 最近 ...
- winrar+目录穿透复现
前言: 学习下该漏洞,记录下这是自动化复现,没有具体分析.菜逼只会用. 00x1: 漏洞简单描述: 该漏洞事一个由UNACEV2.dll代码库中的一个深藏已久的漏洞 当攻击者制作一个恶意的ACE文件时 ...
- spring boot websocket stomp 实现广播通信和一对一通信聊天
一.前言 玩.net的时候,在asp.net下有一个叫 SignalR 的框架,可以在ASP .NET的Web项目中实现实时通信.刚接触java寻找相关替代品,发现 java 体系中有一套基于stom ...
- 使用阿里云Java SDK 实现 DDNS
本代码的实现前提: 1.拥有阿里云域名,且获取了Access Key 及 Access Secret 2.能获取外网IP的页面地址(注意:ip138.com的实际包含ip地址为http://2018. ...
- 使用yum安装 gdb/g++等软件包
报错: Cannot find a valid baseurl for repo: base/7/x86_6 解决方法: 方法一. 1.打开 vi /etc/sysconfig/network-scr ...