1. 目标[52RD.com] 
手机摄像头模组用ISP功能模块的市场走向及研发方向。为能够正确认识手机摄像模组行业提供技术及市场依据。[52RD.com] 
2. ISP在模组上的应用原理[52RD.com] 
2.1 功能区域[52RD.com] 
无论数码相机、摄像机或者摄像手机,其影像数据从前端感应后,皆须经过ASP(Analog Signal Processing)、ADC(Analog-Digital Converter)、前期影像处理(Pre-ISP)与后端影像处理(Post-ISP)四个阶段后,影像数据才能最终呈现于终端设备上(图一)。

但由于图像传感器的像素高低不同、及其他成本等的考虑,ISP各功能区域会依手机市场特性做分散配置或整合处理,例如,低端相机将Pre-ISP与传感器整合在一起,2.0M像素手机将所有的ISP功能单独做成一个芯片等。 [52RD.com] 
2.1.1 ASP [52RD.com] 
ASP(Analog Signal Processor)主要是针对图像传感器采集的电压或电流信号进行处理,主要作用是信号放大、自动曝光调整、时序控制、像素抽样控制等。因其与初始信号的绝对相关性,一般的图像传感器厂商皆会将此项功能直接与传感器做在一块。在图一中即为蓝色部分。传感数据经过ASP处理后,输出数据为Raw Data。 [52RD.com] 
2.1.2 Pre-ISP [52RD.com] 
Pre-ISP(Image Signal Processor)为前端影像处理,主要针对ADC转换后传出的数字数据(Raw data),进行影像坏点修补、白平衡、gamma校正、锐利度、颜色插值等。在低像素的产品中,例如0.3M像素,因影像数据较少,不需要大规模的复杂处理,会将Pre-ISP与图像传感器做在同一颗芯片中;但高像素CMOS传感器,因需要处理的像素数越来越多,虽然将Pre-ISP集成在sensor 内部从制造技术上来讲不困难,但因成本及成像质量的原因,有些手机设计公司在设计时会将集成于sensor内部的Pre-ISP功能屏蔽掉,并维持传感器 ADC输出的原始资料,交由单独的ISP芯片或集成在Baseband的ISP进行处理。 [52RD.com] 
由Pre-ISP处理完后的数据分为RGB和YUV,RGB为三原色,数据比YUV较大,可以方便后续处理单元(Post-ISP)做更为多元的变化;YUV为RGB三原色经内插法所得,数据量较小,但不利于后续的处理单元进行处理。 [52RD.com] 
对于实力强的手机研发公司比较倾向于使用Raw data数据或者RGB数据,这样可以根据自己的需要调整出更完美的画面质量。Raw data数据也为以后高端市场的使用方向,但国内现阶段2.0M像素的模组应用还处于初级阶段。因此还是以YUV输出的为主。 [52RD.com] 
2.1.3 Post-ISP [52RD.com] 
Post-ISP虽然也称为后端影响处理,但其与成像相关的工作不多,主要负责数据压缩与后端接口界面控制,以及数据传输、控制等工作,其中还包括LCD影像预览、镜头对焦控制、使用界面等。 [52RD.com] 
2.2 ISP发展阶段 [52RD.com] 
2.2.1 第一阶段 [52RD.com] 
第一阶段因像素不高(CIF等级),因此其结构与一般手机相差不多, Pre-ISP功能与图像传感器整合,而Post-ISP则依赖手机基带芯片,显示屏则经由系统提供,其结构如下 [52RD.com] 
[52RD.com] 
图二 手机摄像模组后端芯片第一阶段原理图 [52RD.com] 
2.2.2 第二阶段 [52RD.com] 
随着像素增加(CIF至VGA),为维持后端手机基带芯片的通讯功能,开始将原来负责的JPEG压缩、数据流的协调处理等功能独立成单一芯片完成,而影像处理Pre-ISP则交由手机设计公司自行决定,分集成到图像传感器内部和与Post-ISP整合两种。 [52RD.com] 
此阶段方案已被淘汰,VGA像素的Post-ISP功能已可被Baseband集成。

图三 手机摄像模组后端芯片第二阶段原理图[52RD.com] 
2.2.3 第三阶段[52RD.com] 
此时像素已由VGA转为百万像素,高像素的Pre-ISP,因所需的存储器及电源需求过大,在当时的技术条件下,sensor端已无法全部处理,因此将 Pre-ISP与Post-ISP整合成完整的ISP。另因为对显示屏幕的处理要求更高,此阶段也将显示器控制功能一并整合,以减少baseband的处理负担,其结构见图四。

图四手机摄像模组后端芯片第三阶段原理图 [52RD.com] 
2.2.4 第四阶段 [52RD.com] 
Main Panel [52RD.com] 
(240*320) [52RD.com] 
[52RD.com] 
随像素增加到2.0M及以上,厂商将更多的功能例如MP3、3D sound processor、audio processor等亦集成进单独的ISP芯片,此时称之为MMP(Mobile Multimedia Processor),

图五手机摄像模组后端芯片第四阶段原理图 [52RD.com] 
表一 手机摄像模组后端芯片发展趋势 [52RD.com] 
阶段搭配像素趋势项目 [52RD.com] 
第一阶段CIFl 结构与一般手机相差无异 [52RD.com] 
l Pre-ISP功能可与图像传感器整合 [52RD.com] 
l Post-ISP依靠手机基带芯片 [52RD.com] 
第二阶段VGAl Post-ISP独立成单一芯片 [52RD.com] 
l Pre-ISP或由sensor集成或与Post-ISP整合 [52RD.com] 
第三阶段Megal 图像传感器无法全部处理Pre-ISP,与Post-ISP整合成单独的ISP芯片 [52RD.com] 
第四阶段2Mega及以上l 单独的MMP(ISP)芯片集成更多的功能,以迎合2.5G及3G的发展 [52RD.com] 
[52RD.com] 
3. 现阶段ISP的主要应用方案 [52RD.com] 
表二 现阶段ISP的主要应用方案 [52RD.com] 
像素输出格式ISP或手机设计方案备注 [52RD.com] 
VGAYUV/RGB/ [52RD.com] 
Raw datal Sensor集成Pre-ISP; [52RD.com] 
l Baseband集成Post-ISP。OV是VGA的首选sensor厂家,其主流产品:OV7660/OV7663/OV7670皆集成Pre-ISP,而MTK则将Post-ISP部分集成进Baseband。 [52RD.com] 
l Baseband未集成Post-ISP; [52RD.com] 
l ISP(Pre-ISP&Post-ISP)功能被集成于MMP中;有一定比例的Baseband厂商(例如英飞凌)未将Post-ISP集成进Baseband。而是采用MMP的方式来处理。 [52RD.com] 
2.0Mega及以上YUV/RGBl Sensor中集成Pre-ISP; [52RD.com] 
l ISP(Pre- ISP&Post-ISP)功能被集成于MMP中。Baseband不参与图像处理手机设计公司可以采用sensor输出的YUV或RGB,或者直接将Pre-ISP屏蔽掉,所有图像处理工作由MMP芯片来做。(理论上来讲,MMP处理效果应该好一点,实际上有时因调试工程师水平的原因,无法完全发挥MMP的潜力。) [52RD.com] 
Raw datal Sensor中不集成Pre-ISP; [52RD.com] 
l ISP(Pre-ISP & Post-ISP)功能被集成于MMP中。Baseband不参与图像处理所有图像处理工作由MMP芯片来做。 [52RD.com] 
[52RD.com] 
将来的趋势,因成本的原因,基带芯片会集成所有的图像处理功能。 [52RD.com] 
4. 评价 [52RD.com] 
l 从成本来讲,ISP与Sensor之间的关系是背离集成的。将ISP集成在sensor上的成本比ISP集成在MMP或baseband上要高很多。随着传感器分辨率的提高,越来越多的传感器将只整合输出数字信号所必需的电路,而将图像处理及压缩等功能集成于MMP或Baseband中。[52RD.com] 
l 从成像质量来看,发展的趋势也是背离集成,在MMP中集成功能强大的图像处理功能,而且此趋势随分辨率的提高会愈加明显。[52RD.com] 
l 上面两个评价是发展趋势,但现在的市场情况各种应用方案都存在,且没有明显的强弱之分。MTK SoC方案在低端VGA产品中占主导,并且有大批的拥护者,但现仍有大批平台公司仍然没有走基带集成之路。且高端产品中,从我的了解中还没有将ISP功能集成进Baseband中的,大部分仍然采用MMP方案。但有资料表明,将ISP功能集成进Baseband中制造成本几乎可以忽略不计,此方案较之 MMP方案仍然有成本空间。基带产品和应用处理器领域的大玩家都期待在它们的芯片上增加ISP功能。[52RD.com] 
l 无论如何,不管是当前的低端市场情况,还是将来的高端产品,独立的ISP(MMP)芯片都有较大的市场空间。真正的高像素SoC基带方案的时代到来还有很长的路要走。

camera isp(Image Signal Processor)的更多相关文章

  1. 高通camera结构(摄像头基础介绍)

    摄像头基础介绍 一.摄像头结构和工作原理. 拍摄景物通过镜头,将生成的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过DSP加工处理,再被送到电脑中进 ...

  2. ISP (互联网服务提供商)

    ISP(Internet Service Provider),互联网服务提供商,即向广大用户综合提供互联网接入业务.信息业务.和增值业务的电信运营商. ICP(Internet Content Pro ...

  3. QT 中 关键字讲解(emit,signal,slot)

    Qt中的类库有接近一半是从基类QObject上继承下来,信号与反应槽(signals/slot)机制就是用来在QObject类或其子类间通讯的方法.作为一种通用的处理机制,信号与反应槽非常灵活,可以携 ...

  4. camera isp

    1. 目标手机摄像头模组用ISP功能模块的市场走向及研发方向.为能够正确认识手机摄像模组行业提供技术及市场依据.2. ISP在模组上的应用原理2.1 功能区域无论数码相机.摄像机或者摄像手机,其影像数 ...

  5. 为什么台湾人工智能可能抢输大陆?(XPU时代来临)

    到了 2020 年,每 3 支手机,就会有一支内建有 AI 芯片. 但目前浮出水面的 AI 芯片新创,几乎都是大陆公司. 为什么台湾这回选择缺席? 「我听说 CPU.GPU,没有听过 NPU? 」11 ...

  6. 差分信号(Differential Signal)

    差分信号(Differential Signal)在高速电路设计中的应用越来越广泛,电路中最关键的信号往往都要采用差分结构设计,什么另它这么倍受青睐呢?在 PCB 设计中又如何能保证其良好的性能呢?  ...

  7. 3D图片采集与展示(SurfaceView 自适应 Camera, 录制视频, 抽取帧)

    最近在做一个3D图片采集与展示. 主要功能为:自定义Camera(google 已经摈弃了Camera, 推荐使用Camera2,后续篇幅,我将会用Camera2取代Camera),围绕一个物体360 ...

  8. 单片机成长之路(avr基础篇)- 001 ISP与IAP的区别

    ISP(In-System Programming)在系统可编程,指电路板上的空白器件可以编程写入最终用户代码, 而不需要从电路板上取下器件,已经编程的器件也可以用ISP方式擦除或再编程.IAP(In ...

  9. 32位嵌入式微处理器(processor)一览

    32位嵌入式微处理器(processor)一览 由于嵌入式系统的专用型与定制性,与全球PC市场不同,没有一种微处理器或者微处理器公司可以主导嵌入式系统.本文分析了当前市场上主流的一些32位嵌入式微处理 ...

随机推荐

  1. javascript对象——基本对象

    1.array对象 2.Boolean包装类对象和Date对象   3.Math对象 1到100随机数 4.RegExp对象 4.1 正则规则 如: 4.2 两种创建正则对象方式 /正则表达式/    ...

  2. Spring表达式

    一.SpEL 其中,直接写也可以赋值,' ' 单引号引起来后成为一个字符串对象,可以调用String的方法: 二.引用另外一个bean 装配这个类的bean: 1.第一种方法,property标签中使 ...

  3. 大学四年的Python学习笔记分享之一,内容整理的比较多与仔细

    翻到以前在大学坚持记录的Python学习笔记,花了一天的时间整理出来,整理时不经回忆起大学的时光,一眨眼几年就过去了,现在还在上学的你们,一定要珍惜现在,有个充实的校园生活.希望这次的分享对于你们有学 ...

  4. Java面向对象系列(1)- 什么是面向对象

    面向过程 & 面向对象 面向过程思想 步骤清晰清楚,第一步做什么,第二步做什么-- 面对过程适合处理一些较为简单的问题 面向对象思想 物以类聚,分类的思维模式,思考问题首先会解决问题需要哪些分 ...

  5. jmeter之聚合报告(Aggregate Report)

    jmeter最常用的listener--聚合报告Aggregate Report,每一个字段的具体含义是什么? Label:每个请求的名称.每个 JMeter 的 element(例如 HTTP Re ...

  6. Laravel [1045] Access denied for user 'homestead'@'localhost' .env没有配置

    laravel 连接数据库出现错误 PDOException in Connector.php line 55:SQLSTATE[HY000] [1045] Access denied for use ...

  7. Java对象构造

    关于对象构造的一些认识. 默认域初始化 如果在构造器中没有显示地给域赋予初值,那么就会被自动地赋予默认值:数值为0,布尔值为false,对象引用为null.然而,这显然是不安全的,在一个null引用上 ...

  8. 三千字介绍Redis主从+哨兵+集群

    一.Redis持久化策略 1.RDB 每隔几分钟或者一段时间会将redis内存中的数据全量的写入到一个文件中去. 优点: 因为他是每隔一段时间的全量备份,代表了每个时间段的数据.所以适合做冷备份. R ...

  9. 深入理解JAVA虚拟机《二》

    对象.内存回收和垃圾收集算法 一.引用计数算法(不可靠) 现在很多比较普遍的判断对象是否存活的算法就是引用计数算法,其大概原理是:给对象中添加一个引用计数器,每当有一个地方引用它时,计数器值就加1:当 ...

  10. MyBatis-Plus——实践篇

    MyBatis-Plus--实践篇 MyBatis-Plus (简称 MP)是一个 MyBatis的增强工具,在 MyBatis 的基础上只做增强不做改变,为简化开发.提高效率而生.进行数据库操作常用 ...