项目需要在HDMI上叠加一些字符包括汉字和数值,要求不能使用台式机,本身也没有HDMI采集卡驱动开发能力,所以通过海思的HDMI编码器将HDMI编码为h.264网络视频流,然后通过树莓派解码显示,做字符叠加(OSD),将树莓派的HDMI输出接在电视上,就实现了HDMI的高清视频字符叠加。
1、中文字符问题
  opencv实现中文字符显示需要依赖freetype,所以这里简单的加载一张图像模板,opencv在模板上添加数字,汉字部分不需要动在模板中写好即可。
2、树莓派串口问题
首先read的时候报错:
  device reports readiness to read but returned no data (device disconnected?)
然后重新打开,报错:
  Could not configure port: (5, 'Input/output error')
用minicom打开正常,再用程序打开也正常
整个系统经常假死,ssh无法连接,已经连接的终端不断开,但无法操作,鼠标能移动,但界面无反应。软件停止运行,但有时视频能正常播放。
将树莓派的硬件串口引出后,问题解决。
3、视频显示问题
一开始使用nanopi-M1,但播放视频时发现卡顿严重,1080p仅能播放14帧每秒。使用OpenCV-Python直接打开rtsp流,进行叠加显示,结果卡顿严重,基本上全是绿屏。CPU占用率单核100%,说明opencv使用软解,无法达到实时。
通过ffmpeg播放rtsp流,效果一样。通过ffmpeg播放时,解码部分是硬解,但转码部分没有优化,导致CPU占用达到100%,不能流畅播放。
通过mplayer指定解码器播放视频文件流畅,CPU占用30%,所以应该是用GPU解码的:
  mplayer rtsp://192.168.1.90:554/ -vo vdpau -vc ffh264vdpau
使用mplayer播放rtsp时,CPU占用率低,但播放不流畅。怀疑是mplayer的rtsp部分有问题,现在也没有解决。

所以用树莓派继续尝试。
在树莓派3上使用omxplayer直接播放rtsp视频:
  omxplayer --avdict rtsp_transport:tcp rtsp://192.168.1.90:554/
但延时高。而且也没有找到方法做osd。所以找了这个链接:https://github.com/AndrewFromMelbourne/raspidmx,用这里边的例子pngview实现了PNG图像在显示器上透明显示,一边用omxplayer播放rtsp视频,一边用opencv绘制PNG图像,再通过pngview画到显示器上,就实现了视频osd功能。

单张PNG叠加实现后,将pngview编译成动态库,由Python调用,但叠加几次以后黑屏,无法解决。所以pngview仍然作为独立进程使用,Python 调用opencv在PNG模板上绘制数字,保存在内存文件系统/tmp下,然后调用pngview显示,启动pngview后,延时50ms杀死上次启动的pngview,防止闪屏。

内存文件系统:
在/etc/fstab中加入一行:
  none /tmp tmpfs default 0 0
或者在/etc/rc.local中加入
  mount tmpfs /tmp -t tmpfs -o size=128m
注:size=128m 表示/tmp最大能用128m
不管哪种方式,只要linux重启,/tmp下的文件全部消失

这样就实现了HDMI视频osd功能。效果如下:

4、显示分辨率问题
解决视频显示以后,本以为就完成了。但是断电重新开机时,发现屏幕分辨率不对。
  1、使用显示器直接连接树莓派,显示器先上电,树莓派再上电,分辨率1280*720,一切正常
  2、使用显示器直接连接树莓派,显示器稍晚1s上电,树莓派不启动图形界面,显示器上显示无信号
  3、使用以色列图传连接树莓派,同时上电时,显示分辨率变为640*480,无法改变
  4、使用以色列图传连接树莓派,图传上电以后树莓派上电,显示分辨率为1920*1080,无法改变,视频正常播放,osd正常叠加,但视频和osd一起运行,屏幕花屏,然后黑屏。截掉任意一个程序,恢复正常。
问题无法解决,所以开机时检测屏幕分辨率,若分辨率不对,就重启,由于分辨率问题是树莓派与显示器一起上电导致的,所以重启后分辨率就对了,就形成了以上的第四种情况,然后又接了一个HDMI双路视频切换的盒子,这个切换盒与树莓派同时上电可以获得正确的分辨率,于是问题解决了……
所以系统拓扑如下……

由于不具备全系统开发能力,无法提高系统集成度,只能依靠买来的模块攒,最终无法做出稳定可靠的东西

使用树莓派实现(山寨)高清视频叠加(HDMI OSD)的更多相关文章

  1. 树莓派B+上手小记--使用HDMI线连接显示器

    入手还算比较顺利,一开始使用网上下的别人精简的OS,发现ACT及PWR灯一直亮着,上网查说用HDMI连接显示器需要修改配置文件config.txt,但修改后情况依旧. 如果还是用官方的系统试试吧,上网 ...

  2. 【转】绝对不要在树莓派上使用无源的HDMI→VGA视频转换器

    http://www.guokr.com/post/521521/ 树莓派由于BCM2835的限制,仅有HDMI和复合视频两种输出形式.所以对于使用VGA显示器的广大用户,HDMI转VGA转换器就成了 ...

  3. VGA DVI HDMI区别

    VGA,DVI,HDMI是目前常用的3种不同显示接口的名称.在树莓派的边缘既有HDMI的接口,也有RCA的接口,而显示器上也是既有DVI,又有VGA.上个月买连接线,没有仔细检查买了一根HDMI对VG ...

  4. 树莓派3b入门教程

    原文地址:传送门 这篇教程将带您一起玩转树莓派3(Raspberry Pi 3).和普通PC一样,拿到新设备第一件事就是要给它安装一个操作系统,并做一些初始化的操作.比PC简单的是,树莓派是一个固定配 ...

  5. 树莓派(Rospberry Pi B+)到货亲测

    1 图鉴 Rospberry Pi  B+终于在今天下午有蜗牛快递公司圆*送到了.B+主要是增加了2个USB,增加了GPIO,sd卡换成了micro sd ...先不说直接上图再说,期待了好久好久 整 ...

  6. 树莓派(Rospberry Pi B+)到货亲測

    1 图鉴 Rospberry Pi  B+最终在今天下午有蜗牛快递公司圆*送到了.B+主要是添加了2个USB,添加了GPIO,sd卡换成了micro sd ...先不说直接上图再说,期待了好久好久 w ...

  7. 树莓派+Android Things

    在开始之前 谷歌前不久发布了Android Things面向物联网的系统,用意是想让android开发者用原来开发app的方式开发硬件相关的应用,扩展了android开发的方向和前景,而谷歌的Andr ...

  8. [树莓派(raspberry pi)] 01、在linux环境下给树莓派安装系统及入门各种资料

    1.预准备 进入帮助页面https://www.raspberrypi.org/help/,可以直接看到GET START WITH PASPBERRY PI,点击进入: 接下来会引导你检查配件是否齐 ...

  9. SLAM+语音机器人DIY系列:(五)树莓派3开发环境搭建——1.安装系统ubuntu_mate_16.04

    摘要 通过前面一系列的铺垫,相信大家对整个miiboo机器人的DIY有了一个清晰整体的认识.接下来就正式进入机器人大脑(嵌入式主板:树莓派3)的开发.本章将从树莓派3的开发环境搭建入手,为后续ros开 ...

随机推荐

  1. Flask—09-项目部署(01)

    项目部署 WEB工作原理 客户端(chrom) <=> WEB服务器(nginx) <=> WSGI(uWSGI) <=> Python(Flask) <=& ...

  2. ABAP术语-Sales Order

    Sales Order 原文:http://www.cnblogs.com/qiangsheng/archive/2008/03/14/1104979.html A customer request ...

  3. GoogleHacking相关技巧

    转自https://www.cnblogs.com/anka9080/p/googlehack.html 0x 01 GoogleHack语法 Site 指定域名 Intext 正文中出现关键字的网页 ...

  4. linux系统基础之--进程计划(基于centos7.4 1708)

  5. 缓存反向代理-Varnish

    简介 Varnish是一款高性能.开源的缓存反向代理服务器.它从客户端接受请求,并尝试从缓存中响应请求,如果无法从缓存中提供响应,Varnish 向后端服务器发起请求,获取响应,将响应存储在缓存中,然 ...

  6. echarts 点击方法总结,点任意一点获取点击数据,举例说明:在多图联动中点击绘制标线

    关于点击(包括左击,双击,右击等)echarts图形任意一点,获取相关的图形数据,尤其是多图,我想部分人遇到这个问题一直很头大.下面我用举例说明,如何在多图联动基础上,我们点击任意一个图上任意一点,在 ...

  7. 在tornado中使用异步mysql操作

    在使用tornado框架进行开发的过程中,发现tornado的mysql数据库操作并不是一步的,造成了所有用户行为的堵塞.tornado本身是一个异步的框架,要求所有的操作都应该是异步的,但是数据库这 ...

  8. Spark运行模式_基于YARN的Resource Manager的Custer模式(集群)

    使用如下命令执行应用程序: 和"基于YARN的Resource Manager的Client模式(集群)"运行模式,区别如下: 在Resource Manager端提交应用程序,会 ...

  9. 隐藏Windows不常用设置项

    Windows10的设置里面有很多我们不想看见的项目,例如"轻松使用","隐私","游戏","Cortana"等,我们可 ...

  10. Leecode刷题之旅-C语言/python-204计数质数

    /* * @lc app=leetcode.cn id=204 lang=c * * [204] 计数质数 * * https://leetcode-cn.com/problems/count-pri ...