基于NDK开发Android平台RTSP播放器

最近做了不少android端的开发,有推流、播放、直播、对讲等各种应用,做了RTMP、RTSP、HTTP-FLV、自定义等各种协议,还是有不少收获和心得的。我这边做,核心模块和核心代码部分,都是基于NDK,用C++开发的,然后将so动态库,在Android java环境中使用,这个既能保证核心部分的代码性能,也能最大程度复用之前写的流媒体相关的大量代码,实践证明,这样的程序架构,还是很有效的。这篇文章里,我打算描述一下我对于开发Android端RTSP播放器的程序框架,和设计思路,有相关需求的,希望能借此扩展下思路。

逻辑思路

  1. 首先,既然是RTSP播放器,那必然要做RTSP的解析,这部分对我来说已经是非常熟悉了。我常用的RTSP解析代码,一般是基于Live555和FFMpeg的库,通过调用相关的接口,来实现RTSP客户端协议的数据接收,然后再做数据分析。这两种方式,各有适合的应用场景,兼容性也各有优劣,要根据具体项目具体选择。除非是整套都是自己做的RTSP服务器和RTSP客户端,否则我一般都是用他们两个,为的是最大程度的兼容第三方RTSP服务器,比如各种网络摄像头、各种设备、以及其他公司自己写的RTSP server等等,具体就不说了,做过类似的估计都清楚。当然,数据接收是需要做缓冲的,否则会卡顿,这个需要自己来做。

  2. 其次是解码,对于这点,为了保证内存使用效率,以及避免JNI调用开销,最好是在c++层来做。这个可以基于FFMpeg解码器或者MediaCodec解码器来写,不过要注意后者对Android的版本有要求。解码后需要对数据进行缓冲,按照时间戳进行排队。这个不管是直播还是点播,都需要做队列,否则同样会出现卡顿、音视频不同步,以及其他的情况,这个是非常重要的一点。

  3. 最后是渲染,这个可以选择在c++层绘制,或者回调上层,交给EGL来进行绘制,后者需要编写EGL代码,创建EGL surface,在渲染线程中进行绘制。

总结一下:

  • 连接RTSP服务器,接收数据并进行分析,提取视频和音频数据
  • 对编码数据,比如h.264、aac等,进行解码,还原原始数据
  • 把原始数据,进行绘制或回调上层,opengl绘制

程序框架

结构示意图:

c++部分是主要代码,java层只需要做封装和调用操作即可

框架图:

Android c++工程编译

本人的交叉编译平台是ubuntu 64bit,编译成动态库,然后让APP通过JNI来调用,跟其他程序的编译方式差不多。当然,首先需要系统内布置好NDK编译环境。Google提供了完整的编译工具链,也包括SDK,下载地址在这里:“NDK Downloads”。我在之前的一篇文章里也写了这部分,可以参考一下:"NDK开发Android端RTMP直播推流程序"。

1. 编译依赖库

对第三方库,我通常都是首先尝试NDK工具链的方式来编译,这样的好处,一个是工作量小,能直接使用项目的makefile,当前前提是先配置好编译环境,指定好交叉编译工具;另一个是不同的库的编译方式是相同的,很容易处理。这里以FFMpeg为例

第三方库准备好,这样就行了。

2. 编写程序主体的Android.mk文件

程序主体,直接写Android.mk,代码和预编译条件,链接参数等自己都清楚,也很方面控制编译输出。之前有篇文章里也有简单介绍,可以参考"NDK开发Android端RTMP直播推流程序",具体的语法可以参考官方网站Android Developer。

写好后,调用ndk-build脚本编译,OK。

需要注意的地方和部分代码

1.在写JNI封装接口的时候,一定要注意jni类型和c++类型的对应关系,尤其是注意返回值。本人就曾经因为jni接口返回值,和代码实现时候的不对应,从而导致android app调用接口的时候异常退出

其中一个接口对应的JNI c语言代码是这样的:

2.在按照时间戳做播放队列的时候,为了音频和视频的同步,必须注意音频和视频各自的时间戳,需要按照真实的时间进行还原。而当发现视频和音频不同步的时候,或者因为缓冲问题,导致视频需要丢包的情况下,需要及时调整音频播放队列的基准时间戳,避免音视频不同步的情况出现。同时,这样做也能避免长期累积造成的计算误差。

3.由于是手机端或者嵌入式设备端进行播放,因为需要考虑到设备性能不足的情况。这个时候,如果码流较大而设备来不及解码或者渲染,必须及时抛弃视频数据,否则会造成内存溢出,程序崩溃。同时在抛弃数据的时候,要考虑到关键帧的问题,也就是如果发生了抛帧,那么整个GOP的数据都应当放弃,除非是有冗余编码等编码技术,以此来避免花屏的情况,以及第2点列出的音视频同步问题。解决这几点,基本上就可以了。

4.当需要回调给java层,让EGL来渲染画面时,需要用到c++回调Java的技术手段。首先写好java层封装的回调接口,然后在c++代码中,通过JNI环境,获取到java层封装的类jclass对象和方法。注意在调用GetMethodID时,需要写正确函数的签名,例如我在java层的函数是

void OnVideoDataBuf(int width, int height, byte[] frameBuf)

那么对应的签名是“(II[B)V”

以下是调用例子:

注意最后需要DetachCurrentThread()。

运行效果

在手机端运行画面:


haibindev.cnblogs.com,合作请联系QQ或微信。(转载请注明作者和出处~)


Android流媒体开发之路三:基于NDK开发Android平台RTSP播放器的更多相关文章

  1. 基于NDK的Android防破解& Android防破解 【转载】

    两篇防破解文章转载 基于NDK的Android防破解:http://blog.csdn.net/bugrunner/article/details/8634585 Android防破解:http:// ...

  2. Senparc.Weixin.MP SDK 微信公众平台开发教程(三):微信公众平台开发验证

    要对接微信公众平台的"开发模式",即对接到自己的网站程序,必须在注册成功之后(见Senparc.Weixin.MP SDK 微信公众平台开发教程(一):微信公众平台注册),等待官方 ...

  3. Android平台RTMP/RTSP播放器开发系列--解码和绘制

    本文主要抛砖引玉,粗略介绍下Android平台RTMP/RTSP播放器中解码和绘制相关的部分(Github). 解码 提到解码,大家都知道软硬解,甚至一些公司觉得硬解码已经足够通用,慢慢抛弃软解了,如 ...

  4. 基于Live555,ffmpeg的RTSP播放器直播与点播

    基于Live555,ffmpeg的RTSP播放器直播与点播 多路RTSP高清视频播放器下载地址:http://download.csdn.net/detail/u011352914/6604437多路 ...

  5. Android、iOS平台RTMP/RTSP播放器实时音量调节

    介绍移动端RTMP.RTSP播放器实时音量调节之前,我们之前也写过,为什么windows播放端加这样的接口,windows端播放器在多窗口大屏显示的场景下尤其需要,尽管我们老早就有了实时静音接口,相对 ...

  6. RTSP播放器开发填坑之道

    好多开发者提到,在目前开源播放器如此泛滥的情况下,为什么还需要做自研框架的RTSP播放器,自研和开源播放器,到底好在哪些方面?以下大概聊聊我们的一点经验,感兴趣的,可以关注 github: 1. 低延 ...

  7. 前端基于react,后端基于.net core2.0的开发之路(2) 开发环境的配置,注意事项,后端数据初始化

    前端环境配置 项目介绍文章:前端基于react,后端基于.net core2.0的开发之路(1) 介绍 1.VSCode安装 下载地址:https://code.visualstudio.com/Do ...

  8. PLDroidPlayer 是七牛推出的一款免费的适用于 Android 平台的播放器 SDK,采用全自研的跨平台播放内核,拥有丰富的功能和优异的性能,可高度定制化和二次开发。 https://developer.qiniu.com/pili/sdk/…

    PLDroidPlayer PLDroidPlayer 是一个适用于 Android 平台的音视频播放器 SDK,可高度定制化和二次开发,为 Android 开发者提供了简单.快捷的接口,帮助开发者在 ...

  9. 基于Qt Phonon模块实现音乐播放器

    这次使用Qt实现的是一个本地音乐播放器,可以播放下载在计算机本地的音乐,提供了添加歌曲,歌曲列表,清空列表的功能.默认歌曲列表循环播放.音乐播放的实现主要依赖的是Qt 的多媒体框架phonon.该音乐 ...

随机推荐

  1. 以当前时间作为GUID的方法

    在C#中,系统提供了GUID类,用户可以通过该类来获得128位的唯一标识,但是该标识不具有可读性,很难把该GUID显示在界面上,以当前时间精确到毫秒来作为GUID是一个比较不错的做法,但是DateTi ...

  2. 第一次整合ssm环境后,对请求流程的理解 ,以及一些配置(有错就更新)

    工程结构图: 显示层(handler/controller): request请求到springmvc的前端控制器,从处理器映射器找相应的handler(用@RequestMapping(" ...

  3. 03python面向对象编程4

    http://c.biancheng.net/view/2287.html 1.1定义类和对象 在面向对象的程序设计过程中有两个重要概念:类(class)和对象(object,也被称为实例,insta ...

  4. boost::regex

    https://blog.51cto.com/liam2199/2108548 正则表达式

  5. Effective C++条款05:了解C++默默编写并调用哪些函数

    class Empty{}; class Empty{ Empty(){}; Empty(const Empty& rhs){}; ~Empty(){}; Empty& operato ...

  6. 通过jenkins给gitlab某代码路径打tag的方式

    1.构建后设置里的git publisher插件 https://blog.csdn.net/workdsz/article/details/77931812 2.通过gitlab api接口来 ht ...

  7. java Thread源码分析

    一.使用 java 多线程 java多线程其中两种使用方式: 1.继承 Thread 类 2.实现 Runnable 接口 public class ThreadTest { public stati ...

  8. xtrabackup备份mysql以及创建自动定时任务

    xtrabackup的安装 安装依赖关系 wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo y ...

  9. 如何提高SMTP邮件的安全性?从而不被黑客窃听

    简单邮件传输协议(SMTP)用于在邮件服务器之间进行邮件传输,并且传统上是不安全的,因此容易被黑客窃听.命名实体的基于DNS的认证(国家统计局)用于SMTP提供了邮件传输更安全的方法,并逐渐变得越来越 ...

  10. 安装mod_rpaf让apache获取访客真实IP

    安装mod_rpaf让apache获取访客真实IP 安装mod_rpaf让apache获取访客真实IP 作者:朱 茂海 /分类:Apache  字号:L M S     mod_rpaf是apache ...