Android流媒体开发之路二:NDK开发Android端RTMP直播推流程序
NDK开发Android端RTMP直播推流程序
经过一番折腾,成功把RTMP直播推流代码,通过NDK交叉编译的方式,移植到了Android下,从而实现了Android端采集摄像头和麦克缝数据,然后进行h264视频编码和aac音频编码,并发送到RTMP服务器,从而实现Android摄像头直播。程序名为NdkRtmpEncoder,在这里把整个过程,和大体框架介绍一下,算是给需要的人引路。
开发思路
首先,为什么要用NDK来做,因为自己之前就已经实现过RTMP推流、RTMP播放、RTSP转码等等各种c++实现的流媒体项目,有很成熟的代码模块。既然Android有NDK,可以JNI的方式复用之前的成熟代码,大大拓展和加快项目实现,那为什么不这样去做呢。和其他平台一样,要实现采集摄像头推送直播流,需要实现以下几点
- 获取Android摄像头数据
- 对摄像头数据进行h264编码
- 编码后数据以RTMP协议封装数据并推送
下面分开来讲开发思路:
- Android端采集摄像头原始数据,可以在Java层通过Camera2获取数据,也可以用NativeCamera通过NDK来获取,不过后者需要的版本高一些,我考虑了一下,还是决定通过Java层获取数据,然后再交给下层处理。
- h264编码,可以通过AndroidMediaCodec进行硬件编码,也可以通过x264进行软件编码,这里因为要复用以前的代码,决定使用软件编码来验证
- RTMP协议封装,这部分代码,直接使用之前的C++代码即可,本身就是平台无关的,NDK也是linux环境开发,socket网络通信都是相通的。具体可以参考我之前的文章“C++实现RTMP协议发送H.264编码及AAC编码的音视频”
程序框架
根据我的开发思路,程序框架就显而易见了:
这里省略了部分内容,比如在so动态库之上,有一层封装模块,供Activity调用
Java层的主要做数据采集。对摄像头,通过Camera2接口,获取到更新的Surface,并转交给Opengl.EGL进行绘制,数据被绘制到TextureView的SurfaceTexture上,同时将RGB原始数据回调给Activity,由Activity把数据转交给动态库。 关于Camera2接口获取摄像头数据,可以参考之前的文章“Android流媒体开发之路一:Camera2采集摄像头原始数据并手动预览”,不同的是,那篇文章里直接使用ImageReader的Surface,这里使用的是自定义的Surface。
C++层实现对原始数据进行编码,并按照RTMP数据包进行封装,然后推送到RTMP服务器。这部分可以参考以前的文章“C++实现RTMP协议发送H.264编码及AAC编码的音视频”。
交叉编译
这部分也是主要工作之一,c++代码要想在Android上使用,必须编译成动态库,然后让APP通过JNI来调用。本质上,Android也是linux嘛,所以跟其他嵌入式arm-linux的交叉编译方式,本质上是差不多的,当然,前提是系统内布置好交叉编译环境。熟悉NDK的应该都知道,Google提供了完整的编译工具链,也包括SDK,下载地址在这里:“NDK Downloads”。我是在Ubuntu Linux上来做的,所以选择“Linux 64-bit(x86)”版本,记得Linux环境必须是64位,不然你什么都编译不了。
解压后其实就可以开始了。不过这里还是有两种编译方式:第一种就是类似其他arm-linux环境,配置好交叉编译工具链环境,然后直接按照普通的linux编译方式进行编译;第二种是编写Android.mk文件,然后用NDK里提供的ndk-build脚本进行编译。
1. 工具链方式
对第一种方式来说其实比较简单,安装好交叉编译工具链之后,配置一下环境,就可以编译了。比如如下配置
这样基本就可以了,当然不同项目可能还需要进一步的修改配置,make之前需要执行configure等,但大致如此。
2. ndk-build方式
对Android.mk来说,跟Makefile差别是很大的,有它自己的语法,它在整个编译过程中的位置,可能更接近于automake工具里Makefile.am。关于它的语法,参见我下面的mk文件,做了一些注释,可以帮助理解,具体的语法可以参考官方网站Android Developer。我在这里把我rtmp_enc_sdk.so动态库的Android.mk的主要内容贴出来,大家可作参考。
模式基本是一样的,按照这个模板,修改成你自己项目里使用并不困难。
关键代码
不管是Java层还是C++层的代码其实都不少,不过之前几篇文章里已经有关于他们的逻辑结构和实现方法的介绍,有兴趣的可以参考,按照文章里写的架构去理解,相信都可以实现。我这里把Java层对摄像头捕获到数据以后的处理逻辑的代码贴一下。
1 当TextureView有效之后,开始创建工作。首先要生成一个OES SurfaceTexture,后面要把它传递给Camera2接口,用于接收摄像头画面,之后开始创建RTMP推流模块调用线程,并创建摄像头捕获模块,和渲染模块
2 当OESTexture画面有效之后,获取摄像头画面的实际分辨率,以及旋转矩阵,画面旋转信息等,封装在一起,交给EGLRender,通知渲染模块进行画面渲染
3 渲染模块绘制完数据后,读取RGB原始数据并回调,在这里交给Rtmp发送线程,调用动态库,完成最后h264编码,并推送到RTMP服务器,这下面就是c++层so动态库做的事情了
运行效果
在手机端RTMP推流画面:
在PC上用flash播放RTMP直播画面:
haibindev.cnblogs.com,合作请联系QQ。(转载请注明作者和出处~)
Android流媒体开发之路二:NDK开发Android端RTMP直播推流程序的更多相关文章
- day122:MoFang:OSSRS流媒体直播服务器&基于APICloud的acLive直播推流模块实现RTMP直播推流
目录 1.docker安装OSSRS流媒体直播服务器 2.基于APICloud的acLive直播推流模块实现RTMP直播推流 3.直播流管理 1.docker安装OSSRS流媒体直播服务器 1.OSS ...
- android 串口开发第一篇:搭建ndk开发环境以及第一个jni调用程序
一:ndk环境搭建 1:开发环境 我使用的是android studio 2.3.3版本,搭建ndk开发环境比较简单,打开File----Settings----Appearance&Beha ...
- 使用Android Studio 1.3 版本号进行NDK开发
众所周知Android Studio 1.3 版本号新增了NDK支持,能够非常方便的在上面开发C++或者C代码了,但是预览版功能不是非常完好,须要非常多步骤,另一些奇怪的BUG,整了半天最终能够使用A ...
- 1,下载和部署开发环境--AutoCAD二次开发
环境需求为: AutoCAD 2020版 ObjectARX SDK 下载地址:https://www.autodesk.com/developer-network/platform-technolo ...
- Unity手游之路<二>Java版服务端使用protostuff简化protobuf开发
http://blog.csdn.net/janeky/article/details/17151465 开发一款网络游戏,首先要考虑的是客户端服务端之间用何种编码格式进行通信.之前我们介绍了Unit ...
- Django开发之路 二(django的models表查询)
django的models表查询 一.单表查询 (1) all(): 查询所有结果 # 返回的QuerySet类型 (2) filter(**kwargs): 它包含了与所给筛选条件相匹配的对象 #返 ...
- IOS开发之路二十一(UIWebView加载本地html)
挺简单不多说的直接代码: // // ViewController.h // JSAndJson // // Created by WildCat on 13-9-8. // Copyright (c ...
- Flask web开发之路二
今天创建第一个flask项目,主app文件代码如下: # 从flask这个框架导入Flask这个类 from flask import Flask #初始化一个Flask对象 # Flasks() # ...
- PHP开发搭建环境二:开发工具PhpStorm安装、激活以及配置
关于php的开发工具很多,目前市面上最好用最强大的莫过于PhpStorm这款开发神器了,但是鉴于很多开发者朋友在网站上下载的PhpStorm开发工具不能用,或者使用起来很不方便,笔者把最好用的下载地址 ...
随机推荐
- 详解EBS接口开发之供应商导入(补充)--供应商银行账户更新
CREATE OR REPLACE PACKAGE BODY update_vendor_account IS PROCEDURE main(errbuf OUT VARCHAR2, retcode ...
- Android中利用Camera与Matrix实现3D效果详解
本文行文目录: 一.Camera与Matrix初步认识 二.Camera与Matrix旋转效果拆分介绍 三.Camera与Matrix实现立体3D切换效果 [csdn地址:http://blog.cs ...
- 使用git-flow来帮助管理git代码
对git不熟悉的我,经常把git提交搞得很乱,导致在master上有许多无用的commit,最终决定好好地看一下git的使用教程,却不小心发现了还有一个git-flow的工具可以帮助我管理好git项目 ...
- android程序崩溃后重启
有时候由于测试不充分或者程序潜在的问题而导致程序异常崩溃,这个是令人无法接受的,在android中怎样捕获程序的异常崩溃,然后进行一些必要的处理或重新启动 应用这个问题困恼了我很久,今天终于解决了该问 ...
- 开源项目——小Q聊天机器人V1.4
小Q聊天机器人V1.0 http://blog.csdn.net/baiyuliang2013/article/details/51386281 小Q聊天机器人V1.1 http://blog.csd ...
- Spark技术内幕:一个图搞定Spark到底有多少行代码
Spark1.0.0发布一个多月了,那么它有多少行代码(Line of Code, LOC)? 注:代码统计未包含测试,sample.
- UE4实现描边效果
描边效果属于常见常用的功能,现VR项目中,也需要射线选中一个物体,使物体高亮. 于是在网上找了部分资料,同时也感谢群里的一位大神的提点,总算将描边的功能实现了,这里也写一个简单的示例步骤. 1.我并不 ...
- iOS中 基于LBXScan库二维码扫描 韩俊强的博客
每日更新关注:http://weibo.com/hanjunqiang 新浪微博 首先声明这个二维码扫描是借助于zxing. 功能模块都完全封装好了,不过界面合你口味,直接使用就好,如果不合口味,后 ...
- iOS开发之三:常用控件--UILabel的使用
UILabel 一般用来显示文本内容. 常用的属性如下: @property(nonatomic,copy) NSString *text; // 文本的内容,默认为 nil @property(no ...
- Gradle 1.12 翻译——第九章 Groovy快速入门
由于时间关系,没办法同时做笔记和翻译,关于Gradle的用户指南,本博客不再做相关笔记,而只对未翻译章节进行翻译并在此发表. 有关其他已翻译的章节请关注Github上的项目:https://githu ...