根据算法测试过程中遇到的一些问题和管理规范, 梳理出算法测试工作需要关注的一些点:

编号　 名称 描述信息 备注
1 明确算法测试需求
明确测试目的
明确测试需求, 确认测试需要的数据及场景
明确算法服务流程, 确认算法输入\输出的数据, 并向开发人员提出相关数据的输出要求
确认时间节点与人力支持
在需求评审阶段确认
若无评审, 需要跟相关人员进行确认
算法测试需求种类:　
01.算法测试种类
注： 强烈建议事先对评审的项目的业务有所了解，对后续测试方案和数据采集有较大影响
2 编写测试方案
确认算法测试主要场景和测试场景信息
确认各场景测试数据需求量
确认算法标签标准
确定算法性能指标定义及计算公式
算法测试方案模板:
算法测试方案模板v1.0
测试方案模板示例:
算法测试方案模板v1.0/示例--阅读机二期/ASR算法服务
3 测试数据方案
确认数据采集场所
确认数据采集设备及能够正常使用
确认数据采集人员及进度安排
数据检查\清洗与归类
测试报告生成日期
测试数据方案模板:
测试数据方案模板v1.0
测试数据方案示例: 测试数据方案模板v1.0/示例--阅读机二期/ASR算法测试数据
4 算法测试
确认算法相关细节, 主要参考使用文档或与算法人员沟通
测试脚本编写
测试指标统计及badcase样例展示与保存
  
5 形成测试报告
得出测试结论, 与测试目的保持一致
测试小结, 总结测试过程中发现的其他问题
badcase统计与展示
测试报告模板:
AI算法测试报告模板v1.1
测试报告示例1:
智能识题算法评测报告-v0.2.0
6 测试结果同步
badcase同步
测试细节同步
后续结果跟进
  
7 测试数据与测试报告管理
对测试数据质量进行管理
测试数据版本管理
测试报告结果管理
  

AI算法测评(二)--算法测试流程的更多相关文章

  1. EM算法浅析(二)-算法初探

    EM算法浅析,我准备写一个系列的文章: EM算法浅析(一)-问题引出 EM算法浅析(二)-算法初探 一.EM算法简介 在EM算法之一--问题引出中我们介绍了硬币的问题,给出了模型的目标函数,提到了这种 ...

  2. AI算法测评事项

    前言 注:大概2017年-2018年国内人工智能热度达到顶峰,随后热度开始逐渐减少.2018年前人工智能被投资界.学术界.工业界和媒体炒的特别热,各大企业都想尝试一下深度学习技术在业务场景的应用.试水 ...

  3. AI入门之KNN算法学习

    一.什么是KNN算法 kNN(k-NearestNeighbor),也就是k最近邻算法.顾名思义,所谓K最近邻,就是k个最近的邻居的意思.也就是在数据集中,认为每个样本可以用离他最距离近的k个邻居来代 ...

  4. 机器学习算法总结(二)——决策树（ID3, C4.5, CART）

    决策树是既可以作为分类算法,又可以作为回归算法,而且在经常被用作为集成算法中的基学习器.决策树是一种很古老的算法,也是很好理解的一种算法,构建决策树的过程本质上是一个递归的过程,采用if-then的规 ...

  5. java排序算法（二）：直接选择排序

    java排序算法(二) 直接选择排序 直接选择排序排序的基本操作就是每一趟从待排序的数据元素中选出最小的(或最大的)一个元素,顺序放在已排好序的数列的最后,直到全部待排序的数据元素排完,它需要经过n- ...

  6. 游戏AI之A*寻路算法（3）

    前言:寻路是游戏比较重要的一个组成部分.因为不仅AI还有很多地方(例如RTS游戏里操控人物点到地图某个点,然后人物自动寻路走过去)都需要用到自动寻路的功能. 本文将介绍一个经常被使用且效率理想的寻路方 ...

  7. 算法（二）之遗传算法（SGA）

    算法(二)之遗传算法(SGA) 遗传算法(Genetic Algorithm)又叫基因进化算法或进化算法,是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型,属于启发式搜索算法一种. 下面通过下 ...

  8. 70 数组的Kmin算法和二叉搜索树的Kmin算法对比

    [本文链接] http://www.cnblogs.com/hellogiser/p/kmin-of-array-vs-kmin-of-bst.html [分析] 数组的Kmin算法和二叉搜索树的Km ...

  9. OpenCV——PS 图层混合算法 （二）

    具体的算法原理可以参考 PS图层混合算法之二(线性加深,线性减淡,变亮,变暗) // PS_Algorithm.h #ifndef PS_ALGORITHM_H_INCLUDED #define PS ...

随机推荐

  1. Codeforces 777B：Game of Credit Cards（贪心）

    After the fourth season Sherlock and Moriary have realized the whole foolishness of the battle betwe ...

  2. Java面向对象程序设计笔记 • 【目录】

    持续更新中- 我的大学笔记>>> 章节 内容 实践练习 Java面向对象作业目录(作业笔记) 第1章 Java面向对象笔记 • [第1章 面向对象] 第2章 Java面向对象笔记 • ...

  3. python all用法记录

    all函数可以返回对象中是否所有元素均为True 代码如下:(此处仅做简单记录,日后不忙时再认真总结) >>> print(list(map(lambda x: True if x ...

  4. 初识python： 多态

    多态:允许你将父对象设置成为,与一个或更多其子对象相等的技术,赋值之后,父对象就可以根据当前赋值给它的子对象的特性以不同的方式运作.    简单讲就是:允许将子类类型的指针赋值给父类类型的指针. 多态 ...

  5. 自定义djangorestframework-simplejwt的验证表

    django restframework-simplejwt默认是通过调用django的get_user_model方法来得到验证表的表名,然后再通过查询id来验证是否有这个用户. 当需要自定义用户表 ...

  6. 下面哪些命令可以查看file1文件的第300-500行的内容？

    下面哪些命令可以查看file1文件的第300-500行的内容? cat file1 | tail -n +300 | head -n 200 cat file1| head -n 500 | tail ...

  7. centos7 安装zabbix3.0 安装zabbix4.0 yum安装zabbix 国内源安装zabbix 阿里云服务器安装zabbix

    首先,此篇文章是有原因的. 刚开始也和大家一样来学习安装zabbix 奈何网上的教程和现实出现不一样的情况 在安装zabbix过程中,因为zabbix下载源是在国外,下载途中会出现终止下载的情况 tr ...

  8. Sentry 企业级数据安全解决方案 - Relay 操作指南

    内容整理自官方文档 本篇回顾了我们在自托管外部使用 Relay 时的操作指南,即在您的硬件上运行的 Relay 并将事件转发到 sentry.io. 系列 Sentry 企业级数据安全解决方案 - R ...

  9. 蓝桥杯ALGO-1003

    问题描述 JiaoShou在爱琳大陆的旅行完毕,即将回家,为了纪念这次旅行,他决定带回一些礼物给好朋友. 在走出了怪物森林以后,JiaoShou看到了排成一排的N个石子. 这些石子很漂亮,JiaoSh ...

  10. HDU 2041 超级楼梯 （斐波那契数列 & 简单DP）

    原题链接:http://acm.hdu.edu.cn/showproblem.php?pid=2041 题目分析:题目是真的水,不难发现规律涉及斐波那契数列,就直接上代码吧. 代码如下: #inclu ...