背景介绍

ISP(Image Signal Processor),即图像处理,主要作用是对前端图像传感器输出的信号做后期处理,主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等,依赖于ISP才能在不同的光学条件下都能较好的还原现场细节,ISP技术在很大程度上决定了摄像机的成像质量。
 
ISP这个主要用在视频监控设备、相机等。测试方法和场景适用于:IPC设备,手机相机等。

关键词

ISP(Image Signal Processor) IPC图像质量 图像质量算法测试 自动化测试

本文主要介绍一种测试IPC图像质量的测试方法,测试方法的思路基于用户的使用场景,以及算法的适应,自动化测试图像质量的方法;按照自然的方法进行测试,记录下ISP算法的参数变化以及对应的图像质量,根据这些数据来改善图像质量。

 

1       当前测试方法不足

IPC图像质量测试现状已经有了一套非常规范的测试方法,在不同的灯光下测试色彩还原能力,测试宽动态等,有专业的测试软件,例如Imatest等,可以基于这些方法和工具进行设备之间的对比测试,给出全面的图像质量的评价。

但是这样的测试有几个地方没有考虑到:

  • 不能进行自动化测试,需要人工搭建测试环境,进行人工采集测试结果并分析,测试效率较低。
  • 脱离了设备实际应用场景,只是模拟了典型场景,离真实环境还有一段距离。
  • 只是单点的测试ISP的算法,没有测试到算法的适应性以及算法中间的过渡。
  • 没有记录算法中间的变化过程。不能纵向记录ISP算法的参数变化,即按照时间的顺序记录算法调整的变化。

2       测试方法介绍

基于上述测试方法的不足之处,我们能否有一个测试方法,放置设备在一个固定的地点,记录下IPC设备全天图像变化的情况,观察设备随着时间变化图像质量的变化,可以以24小时为周期测试,记录24小时的图像变化,然后判断IPC图像质量的效果。根据这个思路,方法有两个:

  • 按照时间间隔定期抓取图片
  • 根据ISP参数的变化抓取图片

因为我们需要测试ISP图像质量,所以根据ISP参数的变化来抓取图片比较合理。

结合产品的特性,可以按照下面的测试方法进行测试:

实时获取影响ISP算法参数的值(例如:YUV数值,快门,增益,iris),作为基准数据;一秒钟后,获取值,并与基准数据做比较,如果有变化,则调用ISP算法接口,截取一帧的数据转换为JEPG格式保存,并记录下当前的YUV数据值;保存当前的YUV数据位基准参数。重新获取YUV值,与基准参数比较,如果有变化,抓取图片,保存基准参数。

如此循环,可以记录ISP算法的变化和图像质量情况,可以根据算法的变化曲线进行优化算法等。

测试流程图如下:

3       测试方法的优缺点分析

  • 优点:
    • 实现图像质量测试自动化,做到全天候测试,数据收集更加丰富
    • 可以实现多台设备同时测试,测试效率更高
    • 测试场景与客户真实使用场景一致,更加真实
    • 可以记录ISP参数全天以及更长时间的变化,为优化算法提供基本数据
    • 测试成本低,不增加新的设备和仪器,利用现有资源测试
    • 测试方法简单,结果观察方便
    • 不涉及到图形界面操作,测试可靠性较好
  • 缺点
    • 因测试原理为视频数据抽帧转为图片格式,中间有转换损失(如果直接调用前端抓拍接口,则不存在此问题)
    • 无法直接判断测试结果,需要人工判断(如果有图片质量评比工具就可以自动判断了)
    • 必须由开发人员对代码做一些修改或者调整
    • 测试依赖环境的自然变化,测试验证场景单一
    • 在实际测试中发现,每天测试生成的图片非常多,查阅测试结果需要一定的时间。(这个可以根据参数的阈值来调节,但是阈值设置需要验证)

4       开发支持准备

需要在软件添加两个接口,并注册到OSP模块,用来测试使用

一是:获取YUV值参数信息

获取ISP算法的参数,3A等参数信息。

二是:从数据流中保存一帧数据,转换为图片并保存

测试接口的功能类似于相机的拍照功能,根据参数触发图像数据抓拍

5       测试方法实现

根据测试方法描述,测试实现较为快速高效的实现是使用脚本来进行控制。需要使用FTP,Telnet功能。

脚本功能分析,根据上述测试思路,实现自动化测试,选取Python脚本来实现。

需要实现的模块有:

编号

模块名称

模块功能

1

YUV数据获取模块

telnet到设备,执行名称,获取YUV数据

2

YUV数据提取模块

从返回的数据中提取出YUV数据数值

3

抓取图片模块

执行抓取图片命令,获得当前参数下的图片

4

FTP下载图片模块

用ftp方法把图片从设备保存到本地目录

5

输出测试报告模块

根据YUV数据,图片,以及时间输出html格式测试报告

6       测试方法应用

前面章节介绍了传统测试方法的缺点,也介绍了此测试方法的优势。但是此测试方法不能替代原有的专业的ISP图像质量测试方法,但是可以作为快速验证、回归测试以及对比测试的方法。

快速验证:现在每天都有版本出来,靠传统方法难以快速验证,利用此方法可以做到验证每天版本的ISP图像质量。

回归测试:在ISP算法调整后,回归测试算法调整效果。ISP算法调整后,用此测试方法验证算法的基本情况以及适应性。

对比测试:同时测试两台设备的效果对比,快捷方便。

7  自动化图片质量打分

测试脚本选用python实现,可以利用opencv库,对于抓取的图片生成图片的直方图,然后对于这些直方图数据进行对比,比较这些图片的相似度。同时也可以设置一些基准图片,抓取的图片与这些基准图片进行对比,给出一个打分。
直方图数据比较脚本。
 
#sudo pip install PIL
def pil_image_similarity(filepath1, filepath2):
from PIL import Image import math
import operator
image1 = Image.open(filepath1)
image2 = Image.open(filepath2)
# image1 = get_thumbnail(img1)
# image2 = get_thumbnail(img2)
h1 = image1.histogram()
h2 = image2.histogram()
rms = math.sqrt(reduce(operator.add, list(map(lambda a,b: (a-b)**2, h1, h2)))/len(h1) )
return rms

此段代码使用了:monkey  https://testerhome.com/topics/202

8  图像质量人工测试

 

自动化测试脚本每天可以抓取大量的图片,这些图片可以直接浏览,主观评价这些图片的质量,并且可以看到每天不同时段的图片质量的变化,以及isp算法的适应性,调整是否合理等。

特别是日夜模式切换时图片质量的变化;光线情况快速变化时,ISP算法的适应性等。


 

ISP图像质量自动化测试方法的更多相关文章

  1. 总结Selenium自动化测试方法(一)自动化测试基础

    总结Selenium自动化测试方法 一.自动化测试基础 1.什么样的项目适合自动化测试 ①任务测试明确,不会频繁变动 ②每日构建后的测试验证 ③比较频繁的回归测试 ④软件系统界面稳定.变动少 ⑤需要在 ...

  2. ISP图像质量调节介绍

    ISP(Image Signal Processor),即图像处理,主要作用是对前端图像传感器输出的信号做后期处理,主要功能有线性纠正.噪声去除.坏点去除.内插.白平衡.自己主动曝光控制等.依赖于IS ...

  3. app专项测试自动化测试方法思路与实现

    秉着个人意愿打算把python+rf接口自动进行彻底结束再做些其它方面的输出~但事与愿违,但领导目前注重先把专项测试方面完成,借此,先暂停python+rf(主要是与Jenkins集成+导入DB+微信 ...

  4. WiFi无线连接真机进行Appium自动化测试方法

    有时需要测试APP 产品的耗电问题,但用自动化又面临了一个USB接电脑供电的问题,从而导致计算出来的功耗与手动跑,存在有很大的误差,因此可使用wifi无线连接到手机进行自动化测试,解决功耗问题. 前提 ...

  5. 总结Selenium自动化测试方法(六)常见的异常错误处理

    六.常见的异常错误处理 NoSuchElementException: Message: Unable to locate element: {"method":"xpa ...

  6. 总结Selenium自动化测试方法(五)自动化测试框架

    五.自动化测试框架 1.单元测试框架unittest class loginTests(unittest.TestCase): ①开始的初始化部分 @classmethod def setUpClas ...

  7. 总结Selenium自动化测试方法(四)WebDriver常用的操作

    四.WebDriver常用的操作 1.控制浏览器操作 #控制浏览器的大小 self.driver.set_window_size(480,800) #控制浏览器返回 self.driver.back( ...

  8. 总结Selenium自动化测试方法(三)WebDriver定位元素方法

    三.WebDriver定位元素 推荐使用的webdriver是firefox,因为他的firebug更能可以帮助定位页面元素使用 # create a new Firefox session cls. ...

  9. 总结Selenium自动化测试方法(二)测试环境搭建

    (接上期内容) 二.测试环境搭建 1.安装python 现在python3.0比python2.0多了一些改进的功能(详见http://zhidao.baidu.com/link?url=3sT1g7 ...

随机推荐

  1. 1004 Anagrams by Stack

    考察DFS的应用,用栈描述字符串的变化过程. #include <stdio.h> #include <string.h> int len1,len2; ],str2[],st ...

  2. load average[zhuan]

    load average值的含义 单核处理器 假设我们的系统是单CPU单内核的,把它比喻成是一条单向马路,把CPU任务比作汽车.当车不多的时候,load <1:当车占满整个马路的时候 load= ...

  3. IOS开发UI篇-NavigationController的控制器之间的跳转

    一.效果图如下 1> 第一个控制器的NavigationBar隐藏 2> 有按钮,可以跳转到下一个控制器,返回上一个控制器或者根控制器 二.思路代码 思路: 1> 设置window的 ...

  4. 【剑指offer】面试题20:顺时针打印矩阵

    题目描述 输入一个矩阵,按照从外向里以顺时针的顺序依次打印出每一个数字,例如,如果输入如下矩阵: 1     2  3   4 5    6   7   8 9   10 11 12 13 14 15 ...

  5. Java 线程第三版 第八章 Thread与Collection Class 读书笔记

        JDK1.2引入最有争议性的改变是将集合类默觉得不是Thread安全性的. 一.Collection Class的概述 1. 具有Threadsafe 的Collection Class: j ...

  6. setSingleChoiceItems和setPositiveButton两者触发时期

    两者都是对话框中的操作当中 setSingleChoiceItems是在点击对话框中的列表时候被触发,当点击后运行实现的内容 setPositiveButton是在点击完对话框中的确定button时被 ...

  7. 如何统一删除word中的超链接

    [摘要] 我们从别处拷贝文字,或从网上复制的文字,里面有很多超级链接,如何可以批量删除这些链接呢?这里介绍两种批量删除链接的方法. [正文] 方法一:使用快捷键删除超链接 有个神奇的快捷键,可以帮我们 ...

  8. hdu 4930 Fighting the Landlords--2014 Multi-University Training Contest 6

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=4930 Fighting the Landlords Time Limit: 2000/1000 MS ...

  9. 基于Vue 和 webpack的项目实现

    Vue.js 是一款极简的 mvvm 框架,如果让我用一个词来形容它,就是 “轻·巧” .如果用一句话来描述它,它能够集众多优秀逐流的前端框架之大成,但同时保持简单易用.废话不多说,来看几个例子: & ...

  10. WinForm常用代码

    //ToolStripSplitButton是标准按钮和下拉按钮的组合,各自工作,但有联系,感觉上后者是没有向下箭头ToolStripDropDownButton:ToolStripDropDownB ...