近期花了很长时间在libcamera中查找和解决一个bug。下面将这段时间中的工作过程,以及对camera的认识总结如下:

首先是问题的发生,在UM2801中,摄像头的代码已经基本实现,并且相应功能也已经进行了完善。但是,在多次测试使用中发现,摄像头在preview模式下的显示会不经常性的出现屏幕分成两段的情况,上边一段为正常数据的垂直方向压缩图形(压缩为一半),下边一段则为上次开启摄像头时的旧数据的一半。由于情况不明,并且问题是随机发生,难以分析问题的出现到底是在上层还是在驱动层,所以采取从分排除的办法进行分析解决。

一. libcamera的分析:

查找bug的方法是从整个框架的中间段进行分割查找。所以我首先从libcamera文件夹中的相关代码入手进行分析。 libcamera是上层调用摄像头以及设定摄像头功能模式的接口,是c++的最底端的代码。java层通过JNI接口调用C++层。C++中又分为服务端和客户端两个部分,最后调用到了libcamera中。Libcamera中有Seccamera.cpp, Seccamera.h, SecCameraHWInterface.cpp,  SecCameraHWInterface.h四个文件。在SecCameraHWInterface.cpp中有Preview,TakePicture,Record三种模式,开启摄像头默认进入Preview模式,StartPreview函数会在进行相应格式和参数设置后创建一个m_previewThreadFunc()线程,在线程中进行图像预览的处理流程。而takePicture也采用了相似的创建线程处理的模式。而他们的主要功能的函数实现则在Seccamera.cpp文件中。在Seccamera.cpp中可以找到相应的设置格式,参数,以及不同模式的处理过程中的处理函数的实现函数。在这些函数中,他们通过ioctrl的方式控制和调用驱动层来实现相应功能。

通过代码分析,我发现在libcamera中并没有直接处理图像数据,它只是将参数和格式设置通过接口传递到驱动层,并将底层的buffer中的物理地址进行传递到上层的方式进行。具体的数据处理函数则在底层驱动中实现,这样既减少的处理时间,也提高了安全性。为了查看图像数据,我在Seccamera.cpp中通过mmap函数将底层的buffer映射到了上层的m_buffer_c中,然后再将图片数据取出查看。这里的相关代码已经有一部分代码已经有实现的现成代码,所以可以直接使用。

起初,我想通过对TakePicture中的功能进行改写的方式进行捕捉数据,因为这样方便取出单张图片数据。因此,我将TakePicture中的大部分代码注释掉了,然后模仿Preview模式中的方式进行改写。希望在不再重设camera寄存器的情况下,达到取到Preview模式下的图片的效果。但是,由于修改了TakePicture的处理流程中的处理流程,所以不能正确向上层返回,出现死机状况。而如果要正确返回数据需重设数据格式,重新设置摄像头格式后又不能取出需要查看的Preview格式的图片。最后只能抓取TakePicture模式下的JPG和yuyv文件。通过JPG图像和yuyv数据,只能确认在TakePicture模式下的数据为正确数据,不能做出最后判断。

于是,采取从Preview模式下取出数据的方式。通过分析Preview模式的处理流程,发现在这种模式下,它是一个不断进行的线程,在m_previewThreadFunc()线程中不断向上层传递新的数据的物理地址,LCD则才能通过地址调用下层获取新的图像进行显示。所以为了取出单张图片数据,我想通过创建一个全局变量,然后让变量的值满足某种条件来作为抓取数据的条件的方式来完成。但是,编译显示,在libcamera中不允许在其中创建其它的全局变量。所以后来想到了系统time(NULL)函数时间变量,它很好的解决了这个问题。但是,由于要抓取数据,它的数据处理的流程作了相应的改变,在运行中会出现与Preview模式的正常进行产生冲突的问题,抓取数据会出现死机,或者在不暂停数据传输的情况下抓取的数据错乱的情况。为了解决与Preview的正常进行产生冲突的问题。我有分析了TakePicture模式的处理流程,认真分析了预览模式下的实现流程,成功在getPreview函数中找到了安插捕捉图像的代码的地方,正确取出了Preview模式下的图像。由于抓取到的图像是samsung的NV12T模式的数据文件,我写了一个将NV12T图片数据转为RGB32的数据(我的电脑的framebuffer支持格式为RGB32),并将它输出到/dev/fb0中显示的函数。最后,成功查看到了Preview中libcamera的framebuffer原始数据。(归档文件文件夹中nv12t_rgb.c为nv12t转rgb32并输出的函数,yuyv_rgb.c为yuyv422转rgb32并输出的函数)。

通过抓取到图像后,可以确认图像也是在Preview模式下显示的画面一样的分段式的错误图像。因此,可以确认错误的图像最初应该产生在驱动层。因此,转入驱动层代码,开始进行分析。

二.驱动层cameara相关函数分析(fimc与v4l2)

在对驱动层camera相关代码进行阅读分析后。我了解到,在fimc_dev.c函数中注册了三个fimc控制器(fimc0,fimc1,fimc2),并且都注册为V4L2设备子系统(device-subdev)。不同的fimc控制的地方不同,fimc0实现数据从sensor中通过scaler由yuyv422格式转换成nv12t格式并且通过DMA方式传送到fimc0的memory中。而fimc1则从这个memory中取出数据,通过fimc1的scaler将数据转换成rgb32格式,并将它存储到LCD的memory中。fimc0的工作部分在fimc_capture.c中实现,fimc1中的工作部分则在fimc_output.c中实现。他们通过V4L2架构为上层提供接口,与上层连接的接口为统一接口,在v4l2_ioctrl.c中实现,通过不同的type,连接不同的接口和实现函数,如果type为V4L2_BUF_TYPE_VIDEO_CAPTURE,则连接fimc_capture.c的实现函数,如果type为V4L2_BUF_TYPE_VIDEO_OUTPUT,则连接fimc_capture.c的实现函数。然后通过fimc_v4l2.c中的fimc_v4l2_ops结构体,将v4l2的接口函数与fimc的实现函数连接,最后连接fimc_capture.c和fimc_output.c不同的实现函数。

在fimc_capture.c函数中,实现了libcamera的Seccamera.cpp中的调用函数,分配了四个用于存储图像数据的buffer,按照nv12t的格式又将数据分别存储为Y数据区和cbcr数据区。这里提供了PINGPONG存储模式和直接存储模式,而采用的是直接存储模式(上图为PINGPONG模式)。数据的传输采用的是DMA直接内存访问方式,在fimc_streamon_capture.c中首先进行数据源(src)和的格式和大小的设置,数据转换后的格式和大小以及转换方式的设置,然后开启数据接收。

fimc与sensor的连接则通过v4l2系统的subdev_call函数调用接口。在摄像头驱动gt2005.c中v4l2_subdev_ops结构体中连接了最终的实现函数。分为gt2005_video_ops和gt2005_core_ops两个部分。gt2005_core_ops为初始化,重设,控制相关实现。gt2005_video_ops为设置格式,大小等相关的实现。最后通过I2C实现寄存器的配置写入和读出,将设置参数写入摄像头寄存器中。

在分析驱动层代码的大致结构和功能后,我首先在streamon_capture中实现了将preview开启钱buffer中的旧数据擦除的功能。通过phys_to_virt函数将buffer的首地址由物理地址转为虚拟地址,然后擦除了四个buffer大小的数据空间。于是,由于没有旧的数据填充的情况下,在预览模式下可以看到在出现错误图像时的下半部旧数据图像变成黑屏了,这也说明了数据在传进buffer之前已经是一半的错误数据,即数据在进入buffer之前已经是有问题的了。于是我在streamon_capture的功能开启之后的fimc_hwset_enable_capture函数中将fimc的所有的寄存器配置情况通过printk打印出来,一一与datasheet中的配置说明进行比对。但是此次没有发现问题,这是对代码的调用情况还不完全理顺,以及轻易相信数据是streamon_capture的输出信息的缘故。所以,由于打印出来的寄存器配置正确,我将方向转向了buffer中的数据。于是我又在STREAM_PAUSE命令发生后,将buffer[0]的部分数据打印在终端,由于STREAM_PAUSE是在我在上层取出nv12t数据时需要执行调用的命令。所以,这时取出数据与我上层取出的数据达到了同步,我将终端打印出来的16进制的数据与与获取的用vim查看的nv12t的16进制数据进行逐个比对,结果开始由于我将大小搞错,取出的数据不全,比对不完整,判断数据没有发生问题。后来经提醒后改正数据大小,正确结果为数据与上层取出的数据一样,说明错误发生在数据传入buffer之前,这也更加证实了擦除旧数据后显示出半张压缩图像的判断。于是,由于之前认定寄存器配置没有出错,把方向转向了在sensor的配置和时钟的配置。在更换了一个摄像头进行实验后,发现仍然会出现这样的情况,说明不是摄像头的问题,转而指向了时钟出现问题。

在认为可能是时钟的问题后,simon用示波器对时钟进行了测量。通过计算,认为时钟配置正常,没有出现问题,这样便发现自己的方向发生了错误,前面可能产生了误判。

于是我只能往回重新推翻进行查找,在再次肯定上层取出的数据可以认定排除上层出错后,我再次分析了fimc中的代码和框架。并且将所有可能产生错误图像效果的情况的变量值全部输出到终端,进行一一比对。没有发现问题。但是,在对代码的梳理和对框架的理解中,我发现,在preview模式进行时,所有的fimc同时在工作中。并且由于他们是同时注册的v4l2子系统,所以,他们的许多代码都是合并在一起,共同使用的。他们通过不同的hw_ver参数和type进行连接不同的设置,实现各自不同的功能。也就是说,终端打印出来的信息是capture模式和output模式下的两种不同的打印信息的总合。同时发现fimc_regs.c中fimc寄存器配置的相关函数也同时被fimc0和fimc1调用着,分别在实现capture和output的功能。所以,我上次查看的寄存器配置信息有误,打印信息并不一定是capture的配置参数。

于是,我同样用printk函数的方式区分了capture方向的函数调用fimc_hwset_enable_capture函数时的打印信息和output方向的函数调用时打印信息,并取出了capture调用时的fimc0的配置情况进行了比对。此次,我发现,在出现错误图像和正确图像的多次比对中,S3C_CISCCTRL寄存器的信息值正好是两个不同的值,该寄存器的第25为的设置正好相反。datasheet显示,该位配置的功能为隔行读取。就此,确认错误的发生是在该寄存器的配置上发生的问题,发现了问题的发生处。

为了完全确认,我强制关闭了发生错误的配置(隔行读取)功能。经过多次实验,确认问题发生在此处。

三.问题原因

虽然能够确认问题发生的地方。但是,真正触发问题的原因并没有找到。而且,强制关闭驱动层的功能设置不是正确的解决问题的办法。所以,我向上开始查找问题发生的根本原因。在出现错误图片的地方,是由于开启了隔行读取,开启了V4L2_FIELD_INTERLACED功能,而这个功能则是由结构体v4l2_pix_format的field参数控制的,经过对代码的分析查找,这个结构体是由上层传递赋值的。在fimc_capture.c中fimc_s_fmt_vid_capturea函数通过V4L2接口将v4l2_format结构体复制给了v4l2_pix_format结构体,实现的数据传递。

最后转向,c++层libcamera中的Seccamera.cpp中的fimc_v4l2_s_fmt函数。在这个函数中,定义了v4l2_pix_format为pixfmt,但是它结构体中的所有元素,只有field没有初始化,在初始化完其它元素后,将它赋值给v4l2_format结构体,并且通过v4l2传递给了驱动层。由此导致了一个没有初始化的变量传递到了底层。由于是局部变量,在使用它时,它读取了申请的空间的的旧数据作为数据使用,导致了每次读取的数据都不一样。因此,在当读取到的数据等于隔行读取的值时(4),触发了设置隔行读取寄存器位的情况。于是出现了摄像头出现随即图像分段的错误情况。至此,问题根源发现。

问题解决办法:在fimc_v4l2_s_fmt函数中对field进行初始化为: pixfmt.field = V4L2_FIELD_ANY;

摄像头bug查找工作总结的更多相关文章

  1. 记一次PHP7+opcache+zmq出现SIGSEGV 问题的查找(一次不成功的bug查找)

    Title:  记一次PHP7+opcache+zmq出现SEGSEGV问题的查找(一次不成功的bug查找) bug来历自述:线上代码PHP环境是5.2,为了提升性能(逼格),于是升级为PHP7并使用 ...

  2. bug 查找 (二) 从前端找到后端

    bug 查找 (二) 从前端找到后端 几天来,组长说我们系统的 apm 数据不正确,最体表现就是前端项目这几天错误统计为 0. 这不正常(没有办法,我们代码写的很烂),因为前端环境很复杂,网络,浏览器 ...

  3. # bug 查找 (一) 快速记录 IE8 下三个问题

    bug 查找 (一) 快速记录 IE8 下三个问题 昨天 pc 端网站上灰度,发现多个在 IE8 下的问题,描述和解决方案如下: 第一个问题是 css 文件过大 现象 把项目所有的 css 打包成单个 ...

  4. 多线程+fork 引发的bug查找

    1. 问题描述 某个server SA是一个多线程服务器,主线程会调用fork,再exec生成工作进程SB. 实际上,SA的主线程fork出了一个子线程,但没有执行exec. # ps ajxf | ...

  5. 记一次bug查找经历

    系统采用cell插件显示汇总数据,然后发现个公司数据显示不出来,接到这个任务开始查找bug. 通过需求了解并不知道其他公司什么情况,因为就这个公司有了反馈: 本来以为很容易找到点的,毕竟数据显示不出来 ...

  6. 【NX二次开发】按层查找工作部件中的对象 UF_LAYER_cycle_by_layer

    第一次调用 :返回第一个启用层中的第一个对象. 第二次调用 :返回下一个已启用层中的下一个对象. 最后一次调用:当所有对象都被耗尽时,将返回object_tag = NULL_TAG. 在循环数据库时 ...

  7. dos命令记录以及dos下通过进程id查找工作路径

    dos命令 tasklist |findstr "1696" 通过进程id查看进程名 tasklist 列出所有进程 netstat -ano 查看当前网络通信进程连接的各种状态 ...

  8. [持续补充]开发过程中常见bug查找思路

    文件夹下载不下来或者无法访问,很多时候是因为没有该文件夹的权限,或者没有将该文件夹挂载到对应docker下. 远程服务器和本地服务器测试结果不同,需要排查代码是否是git上同一版本的代码. 代码相同, ...

  9. 线上应用bug跟踪查找-友盟统计

    线上的应用只要用心点点都能发现些bug,连微信,QQ也不列外.但是bug中最严重的算是闪退了,这导致了用户直接不能使用我们的app. 我们公司是特别注重用户反馈和体验的,我们会定期打电话咨询用户的使用 ...

随机推荐

  1. thinkPHP判断是否修改成功

    thinkPHP中使用save方法来更新数据的save方法的正常执行时返回值是影响的记录数,出错时返回false,返回为0和返回false在很多业务场景下都是不同的. 而当修改的内容和原有内容一致的时 ...

  2. windows安装 Nodejs,NPM, CNPM

    1, dowload Nodejs from :  http://nodejs.cn/download/ 下载完毕后,可以安装node,建议不要安装在系统盘(本例安装在 D:\vueProject) ...

  3. NBUT校赛 J Alex’s Foolish Function(分块+延迟标记)

    Problem J: Alex’s Foolish Function Time Limit: 8 Sec  Memory Limit: 128 MB Submit: 18  Solved: 2 Des ...

  4. [洛谷P3857][TJOI2008]彩灯

    题目大意:有$n$盏灯,$m$个开关($n,m\leqslant 50$),每个开关可以控制的灯用一串$OX$串表示,$O$表示可以控制(即按一下,灯的状态改变),$X$表示不可以控制,问有多少种灯的 ...

  5. [poj] 1149 PIGS || 最大流经典题目

    原题 题目大意 给你m个猪圈以及每个猪圈里原来有多少头猪,先后给你n个人,每个人能打开一些猪圈并且他们最多想买Ki头猪,在每一个人买完后能将打开的猪圈中的猪顺意分配在这次打开猪圈里,在下一个人来之前 ...

  6. UVALive4374 Drive through MegaCity

    题目戳这里. 首先我们对坐标进行离散化,有用的点就变成了\(O(N)\)个.我们假设\(A\)点\(B\)的右边(从\(A\)往\(B\)跑和从\(B\)往\(A\)跑等价),然后我们很容易发现不会往 ...

  7. oracle 查看表空间的脚本

    SELECT upper(f.tablespace_name) "表空间名", d.Tot_grootte_Mb "表空间大小(M)", d.Tot_groot ...

  8. Scaffold your ASP.NET MVC 3 project with the MvcScaffolding package

    原文发布时间为:2011-05-21 -- 来源于本人的百度文章 [由搬家工具导入] http://blog.stevensanderson.com/2011/01/13/scaffold-your- ...

  9. css字体投影

    最近在整理学习CSS3的一些小知识,现在已经整理了CSS3选择器,CSS3圆角和CSS3元素阴影属性的使用方法了.今天为大家整理一下CSS3中的文字阴影——text-shadow的使用方法.希望能对大 ...

  10. wcf常用的概念

    常见的服务行为包括实例控制.并发控制.元数据发布等 在WCF中,有三种消息交换模式:数据报模式.请求-响应模式.双工模式. 在WCF中一共包含了4种契约,分别是服务契约.数据契约.错误契约和消息契约. ...