本教程介绍pipeline的一种新的创建方式——在运行中创建,而不是在运行前一次性的创建结束。

介绍

在这篇教程里的pipeline并非在运行前就全部创建结束的。放松一下,这样做没有任何问题。如果我们不进行更深入的处理,那么数据在到达pipeline的末尾时就直接丢弃了,当然,我们肯定会进行深入处理的。。。

在这个例子中,我们会打开一个已经包含了音视频的文件(Container file)。负责打开这样的容器文件的element叫做demuxer,我们常见的容器格式包括MKV、QT、MOV、Ogg还有ASF、WMV、WMA等等。

在一个容器中可能包含多个流(比如:一路视频,两路音频),demuxer会把他们分离开来,然后从不同的输出口送出来。这样在pipeline里面的不同的分支可以处理不同的数据。

在GStreamer里面有个术语描述这样的接口——pad(GstPad)。Pad分成sink pad——数据从这里进入一个element——和source pad——数据从这里流出element。很自然的,source element仅包含source pad,sink element仅包含sink
pad,而过滤器两种pad都包含。

一个demuxer包含一个sink pad和多个source pad,数据从sink pad输入然后每个流都有一个source pad。

为了完整起见,给出一张示意图,图中有一个demuxer和两个分支,一个处理音频一个处理视频。请注意,这不是本教程pipeline的示意图。

这里主要复杂在demuxer在没有看到容器文件之前无法确定需要做的工作,不能生成对应的内容。也就是说,demuxer开始时是没有source pad给其他element连接用的。

解决方法是只管建立pipeline,让source和demuxer连接起来,然后开始运行。当demuxer接收到数据之后它就有了足够的信息生成source pad。这时我们就可以继续把其他部分和demuxer新生成的pad连接起来,生成一个完整的pipeline。

简单起见,在这个例子中,我们仅仅连接音频的pad而不处理视频的pad。

动态Hello World

[objc] view
plain
 copy

  1. #include <gst/gst.h>
  2. /* Structure to contain all our information, so we can pass it to callbacks */
  3. typedef struct _CustomData {
  4. GstElement *pipeline;
  5. GstElement *source;
  6. GstElement *convert;
  7. GstElement *sink;
  8. } CustomData;
  9. /* Handler for the pad-added signal */
  10. static void pad_added_handler (GstElement *src, GstPad *pad, CustomData *data);
  11. int main(int argc, charchar *argv[]) {
  12. CustomData data;
  13. GstBus *bus;
  14. GstMessage *msg;
  15. GstStateChangeReturn ret;
  16. gboolean terminate = FALSE;
  17. /* Initialize GStreamer */
  18. gst_init (&argc, &argv);
  19. /* Create the elements */
  20. data.source = gst_element_factory_make ("uridecodebin", "source");
  21. data.convert = gst_element_factory_make ("audioconvert", "convert");
  22. data.sink = gst_element_factory_make ("autoaudiosink", "sink");
  23. /* Create the empty pipeline */
  24. data.pipeline = gst_pipeline_new ("test-pipeline");
  25. if (!data.pipeline || !data.source || !data.convert || !data.sink) {
  26. g_printerr ("Not all elements could be created.\n");
  27. ;
  28. }
  29. /* Build the pipeline. Note that we are NOT linking the source at this
  30. * point. We will do it later. */
  31. gst_bin_add_many (GST_BIN (data.pipeline), data.source, data.convert , data.sink, NULL);
  32. if (!gst_element_link (data.convert, data.sink)) {
  33. g_printerr ("Elements could not be linked.\n");
  34. gst_object_unref (data.pipeline);
  35. ;
  36. }
  37. /* Set the URI to play */
  38. g_object_set (data.source, "uri", "http://docs.gstreamer.com/media/sintel_trailer-480p.webm", NULL);
  39. /* Connect to the pad-added signal */
  40. g_signal_connect (data.source, "pad-added", G_CALLBACK (pad_added_handler), &data);
  41. /* Start playing */
  42. ret = gst_element_set_state (data.pipeline, GST_STATE_PLAYING);
  43. if (ret == GST_STATE_CHANGE_FAILURE) {
  44. g_printerr ("Unable to set the pipeline to the playing state.\n");
  45. gst_object_unref (data.pipeline);
  46. ;
  47. }
  48. /* Listen to the bus */
  49. bus = gst_element_get_bus (data.pipeline);
  50. do {
  51. msg = gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE,
  52. GST_MESSAGE_STATE_CHANGED | GST_MESSAGE_ERROR | GST_MESSAGE_EOS);
  53. /* Parse message */
  54. if (msg != NULL) {
  55. GError *err;
  56. gchar *debug_info;
  57. switch (GST_MESSAGE_TYPE (msg)) {
  58. case GST_MESSAGE_ERROR:
  59. gst_message_parse_error (msg, &err, &debug_info);
  60. g_printerr ("Error received from element %s: %s\n", GST_OBJECT_NAME (msg->src), err->message);
  61. g_printerr ("Debugging information: %s\n", debug_info ? debug_info : "none");
  62. g_clear_error (&err);
  63. g_free (debug_info);
  64. terminate = TRUE;
  65. break;
  66. case GST_MESSAGE_EOS:
  67. g_print ("End-Of-Stream reached.\n");
  68. terminate = TRUE;
  69. break;
  70. case GST_MESSAGE_STATE_CHANGED:
  71. /* We are only interested in state-changed messages from the pipeline */
  72. if (GST_MESSAGE_SRC (msg) == GST_OBJECT (data.pipeline)) {
  73. GstState old_state, new_state, pending_state;
  74. gst_message_parse_state_changed (msg, &old_state, &new_state, &pending_state);
  75. g_print ("Pipeline state changed from %s to %s:\n",
  76. gst_element_state_get_name (old_state), gst_element_state_get_name (new_state));
  77. }
  78. break;
  79. default:
  80. /* We should not reach here */
  81. g_printerr ("Unexpected message received.\n");
  82. break;
  83. }
  84. gst_message_unref (msg);
  85. }
  86. } while (!terminate);
  87. /* Free resources */
  88. gst_object_unref (bus);
  89. gst_element_set_state (data.pipeline, GST_STATE_NULL);
  90. gst_object_unref (data.pipeline);
  91. ;
  92. }
  93. /* This function will be called by the pad-added signal */
  94. static void pad_added_handler (GstElement *src, GstPad *new_pad, CustomData *data) {
  95. GstPad *sink_pad = gst_element_get_static_pad (data->convert, "sink");
  96. GstPadLinkReturn ret;
  97. GstCaps *new_pad_caps = NULL;
  98. GstStructure *new_pad_struct = NULL;
  99. const gchar *new_pad_type = NULL;
  100. g_print ("Received new pad '%s' from '%s':\n", GST_PAD_NAME (new_pad), GST_ELEMENT_NAME (src));
  101. /* If our converter is already linked, we have nothing to do here */
  102. if (gst_pad_is_linked (sink_pad)) {
  103. g_print ("  We are already linked. Ignoring.\n");
  104. goto exit;
  105. }
  106. /* Check the new pad's type */
  107. new_pad_caps = gst_pad_get_caps (new_pad);
  108. );
  109. new_pad_type = gst_structure_get_name (new_pad_struct);
  110. if (!g_str_has_prefix (new_pad_type, "audio/x-raw")) {
  111. g_print ("  It has type '%s' which is not raw audio. Ignoring.\n", new_pad_type);
  112. goto exit;
  113. }
  114. /* Attempt the link */
  115. ret = gst_pad_link (new_pad, sink_pad);
  116. if (GST_PAD_LINK_FAILED (ret)) {
  117. g_print ("  Type is '%s' but link failed.\n", new_pad_type);
  118. } else {
  119. g_print ("  Link succeeded (type '%s').\n", new_pad_type);
  120. }
  121. exit:
  122. /* Unreference the new pad's caps, if we got them */
  123. if (new_pad_caps != NULL)
  124. gst_caps_unref (new_pad_caps);
  125. /* Unreference the sink pad */
  126. gst_object_unref (sink_pad);
  127. }

工作流程

[objc] view
plain
 copy

  1. /* Structure to contain all our information, so we can pass it to callbacks */
  2. typedef struct _CustomData {
  3. GstElement *pipeline;
  4. GstElement *source;
  5. GstElement *convert;
  6. GstElement *sink;
  7. } CustomData;

在这里我们存下了所有需要的局部变量,因为本教程中会有回调函数,所以我们把所有的数据组织成一个struct,这样比较方便调用。

[objc] view
plain
 copy

  1. /* Handler for the pad-added signal */
  2. static void pad_added_handler (GstElement *src, GstPad *pad, CustomData *data);

这是一个声明,后面会使用这个API。

[objc] view
plain
 copy

  1. /* Create the elements */
  2. data.source = gst_element_factory_make ("uridecodebin", "source");
  3. data.convert = gst_element_factory_make ("audioconvert", "convert");
  4. data.sink = gst_element_factory_make ("autoaudiosink", "sink");

我们像前面一样创建一个个element。uridecodebin自己会在内部初始化必要的element,然后把一个URI变成一个原始音视频流输出,它差不多做了playbin2的一半工作。因为它自己带着demuxer,所以它的source pad没有初始化,我们等会会用到。

audioconvert在不同的音频格式转换时很有用。这里用这个element是为了确保应用的平台无关性。

autoaudiosink和上一篇教程里面的autovideosink是非常相似的,只是操作的时音频流。这个element的输出就是直接送往声卡的音频流。

[objc] view
plain
 copy

  1. if (!gst_element_link (data.convert, data.sink)) {
  2. g_printerr ("Elements could not be linked.\n");
  3. gst_object_unref (data.pipeline);
  4. ;
  5. }

这里我们把转换element和sink element连接起来,注意,我们没有把source连接起来——因为这个时候还没有source pad。我们把转换element和sink element连接起来后暂时就放在那里,等待后面在处理。

[objc] view
plain
 copy

  1. /* Set the URI to play */
  2. g_object_set (data.source, "uri", "http://docs.gstreamer.com/media/sintel_trailer-480p.webm", NULL);

和我们在上一篇教程一样,我们把URI通过设置属性的方法设置好。

信号

[objc] view
plain
 copy

  1. /* Connect to the pad-added signal */
  2. g_signal_connect (data.source, "pad-added", G_CALLBACK (pad_added_handler), &data);

GSignal是GStreamer的一个重要部分。它会让你在你感兴趣的事情发生时收到通知。信号是通过名字来区分的,每个GObject都有它自己的信号。

在这段代码里面,我们使用g_signal_connect()方法把“pad-added”信号和我们的源(uridecodebin)联系了起来,并且注册了一个回调函数。GStreamer把&data这个指针的内容传给回调函数,这样CustomData这个数据结构中的数据也就传递了过去。

这个信号是有GstElement产生的,可以在相关的文档中找到或者用gst-inspect方法来查到。

我们现在准备开始运行了!和前面的教程一样,把pipeline置成PLAYING状态,然后开始监听ERROR或者EOS。

回调函数

当我们的source element最后获得足够的数据时,它就会自动生成source pad,并且触发“pad-added”信号。这样我们的回调就会被调用了:

[objc] view
plain
 copy

  1. static void pad_added_handler (GstElement *src, GstPad *new_pad, CustomData *data) {

src是触发这个信号的GstElement。在这个例子中,就是uridecodebin,也是我们唯一注册的一个信号。

new_pad是加到src上的pad。通常来说,是我们需要连接的pad。

data指针是跟随信号一起过来的参数,在这个例子中,我们传递的时CustomData指针。

[objc] view
plain
 copy

  1. GstPad *sink_pad = gst_element_get_static_pad (data->convert, "sink");

从CustomData我们可以获得转换element对象,然后使用gst_element_get_static_pad()方法可以获得sink pad。这个pad是我们希望和new_pad连接的pad。在前面的教程里,我们是用element和element连接的,让GStreamer自己来选择合适的pad。在这里,我们是手动的把两个pad直接连接起来。

[objc] view
plain
 copy

  1. /* If our converter is already linked, we have nothing to do here */
  2. if (gst_pad_is_linked (sink_pad)) {
  3. g_print ("  We are already linked. Ignoring.\n");
  4. goto exit;
  5. }

uridecodebin会自动创建许多的pad,对于每一个pad,这个回调函数都会被调用。上面这段代码可以防止连接多次。

[objc] view
plain
 copy

  1. /* Check the new pad's type */
  2. new_pad_caps = gst_pad_get_caps (new_pad);
  3. );
  4. new_pad_type = gst_structure_get_name (new_pad_struct);
  5. if (!g_str_has_prefix (new_pad_type, "audio/x-raw")) {
  6. g_print ("  It has type '%s' which is not raw audio. Ignoring.\n", new_pad_type);
  7. goto exit;
  8. }

因为我们只处理生成的audio数据,所以我们要检查new pad输出的数据类型。我们前面创建了一部分处理音频的pipeline(convert+sink),没有生成处理视频的部分,所以我们只能处理音频数据。

gst_pad_get_caps()方法会获得pad的capability(也就是pad支持的数据类型),是被封装起来的GstCaps结构。一个pad可以有多个capability,GstCaps可以包含多个GstStructure,每个都描述了一个不同的capability。

在这个例子中,我们知道我们的pad需要的capability是声音,我们使用gst_caps_get_structure()方法来获得GstStructure。

最后,我们用gst_structure_get_name()方法来获得structure的名字——最主要的描述部分。如果名字不是由audio/x-raw开始的,就意味着不是一个解码的音频数据,也就不是我们所需要的,反之,就是我们需要连接的:

[objc] view
plain
 copy

  1. /* Attempt the link */
  2. ret = gst_pad_link (new_pad, sink_pad);
  3. if (GST_PAD_LINK_FAILED (ret)) {
  4. g_print ("  Type is '%s' but link failed.\n", new_pad_type);
  5. } else {
  6. g_print ("  Link succeeded (type '%s').\n", new_pad_type);
  7. }

gst_pad_link()方法会把两个pad连接起来。就像gst_element_link()这个方法一样,连接必须是从source到sink,连接的两个pad必须在同一个bin里面。

到这儿我们的任务就完成了,当一个合适的pad出现后,它会和后面的audio处理部分相连,然后继续运行直到ERROR或者EOS。下面,我们再介绍一点点GStreamer状态的概念。

状态

我们介绍过不把pipeline置成PLAYING状态,播放是不会开始的。这里我们继续介绍一下其他的几种状态,在GStreamer里面有4种状态:

NULL NULL状态或者初始化状态
READY element已经READY或者PAUSED
PAUSED element已经PAUSED,准备接受数据
PLAYING element在PLAYING,时钟在运行数据

状态迁移只能在相邻的状态里迁移,也就是说,你不能从NULL一下跳到PLAYING。你必须经过READY和PAUSED状态。如果你把pipeline设到PLAYING状态,GStreamer自动会经过中间状态的过渡。

[objc] view
plain
 copy

  1. case GST_MESSAGE_STATE_CHANGED:
  2. /* We are only interested in state-changed messages from the pipeline */
  3. if (GST_MESSAGE_SRC (msg) == GST_OBJECT (data.pipeline)) {
  4. GstState old_state, new_state, pending_state;
  5. gst_message_parse_state_changed (msg, &old_state, &new_state, &pending_state);
  6. g_print ("Pipeline state changed from %s to %s:\n",
  7. gst_element_state_get_name (old_state), gst_element_state_get_name (new_state));
  8. }
  9. break;

我们增加这段代码来监听总线上状态变化的情况,并且打印出相应的内容。虽然每个element都会把它的消息放到总线上,但我们只监听pipeline本身的。

绝大多数应用都是在PLAYING状态开始播放,然后跳转到PAUSE状态来提供暂停功能,最后在退出时退到NULL状态。

【GStreamer开发】GStreamer基础教程03——动态pipeline的更多相关文章

  1. Android程序开发0基础教程(一)

    程序猿学英语就上视觉英语网 Android程序开发0基础教程(一)   平台简单介绍   令人激动的Google手机操作系统平台-Android在2007年11月13日正式公布了,这是一个开放源码的操 ...

  2. GStreamer基础教程04 - 动态连接Pipeline

    摘要 在以前的文章中,我们了解到了2种播放文件的方式:一种是在知道了文件的类型及编码方式后,手动创建所需Element并构造Pipeline:另一种是直接使用playbin,由playbin内部动态创 ...

  3. GStreamer基础教程03 - 媒体类型与Pad

    摘要 在上一篇文章中,我们介绍了如何将多个element连接起来构造一个pipline,进行数据传输.那么GStreamer是通过何种方式保证element之间能正常的进行数据传输?今天就将介绍GSt ...

  4. GStreamer基础教程13 - 调试Pipeline

    摘要 在很多情况下,我们需要对GStreamer创建的Pipeline进行调试,来了解其运行机制以解决所遇到的问题.为此,GStreamer提供了相应的调试机制,方便我们快速定位问题. 查看调试日志 ...

  5. [ASP.NET Core开发实战]基础篇03 中间件

    什么是中间件 中间件是一种装配到应用管道,以处理请求和响应的组件.每个中间件: 选择是否将请求传递到管道中的下一个中间件. 可在管道中的下一个中间件前后执行. ASP.NET Core请求管道包含一系 ...

  6. Bootstrap3基础教程 03 导航栏

    Bootstrap导航栏 创建一个默认的导航栏的步骤如下: 1.向 <nav> 标签添加 class .navbar..navbar-default. 2.向上面的元素添加 role=&q ...

  7. iOS开发零基础教程之生成git所需的SSH keys

    在我们github看到了一个不错的第三方库时,可能我们想把他git clone到本地,我们需要复制他的SSH URL,如下图: 复制完地址之后,我们需要打开终端,然后输入命令: git clone + ...

  8. 04: OpenGL ES 基础教程03 纹理

    前言 1:常用类: 1:纹理的作用 正文 一:常用类 上下文 顶点数据缓存 着色器 baseEffect 一:纹理 1.1:   纹理可以控制渲染的每个像素的颜色. 1.2: 纹素:与像素一样,保存每 ...

  9. 【GStreamer开发】GStreamer基础教程08——pipeline的快捷访问

    目标 GStreamer建立的pipeline不需要完全关闭.有多种方法可以让数据在任何时候送到pipeline中或者从pipeline中取出.本教程会展示: 如何把外部数据送到pipeline中 如 ...

随机推荐

  1. bash: cd: too many arguments 报错

    路径名或者变量有空格时候,会造成参数太多的错误提示 解决方法:把空格的地方用引号包括起来

  2. Windows下 Python 2 与 Python 3 共存

    转自:http://lovenight.github.io/2016/09/27/Windows%E4%B8%8B-Python-2-%E4%B8%8E-Python-3-%E5%85%B1%E5%A ...

  3. 原创:从海量数据中查找出前k个最小或最大值的算法(java)

    现在有这么一道题目:要求从多个的数据中查找出前K个最小或最大值 分析:有多种方案可以实现.一.最容易想到的是先对数据快速排序,然后输出前k个数字.   二.先定义容量为k的数组,从源数据中取出前k个填 ...

  4. 批量更新表注释 mysql

    -- 生成更新语句 SELECT CONCAT( 'ALTER TABLE ', T2.table_name, ' COMMENT ''', T1.TABLE_COMMENT, ''';' ) sql ...

  5. fastdfs通过docker安装

    安装前准备 # yum install -y git #下载git # cd /data # mkdir fastdfs # cd fastdfs # git clone https://github ...

  6. Centos7修改为固定IP后 yum 出现could not retrieve mirrorlist

    Centos7修改为固定IP后 yum 出现could not retrieve mirrorlist,发现yum源的域名无法解析 按照6,修改/etc/resovle.conf,新增域名解析服务器1 ...

  7. 【Java.Regex】用正则表达式查找Java文件里的字符串

    代码: import java.io.FileNotFoundException; import java.io.FileReader; import java.io.IOException; imp ...

  8. How to: Secure Connection Strings When Using Data Source Controls

    https://docs.microsoft.com/en-us/previous-versions/dotnet/netframework-3.0/dx0f3cf2(v=vs.85) When wo ...

  9. Java基础 main 参数String[] args的用法

        JDK :OpenJDK-11      OS :CentOS 7.6.1810      IDE :Eclipse 2019‑03 typesetting :Markdown   code ...

  10. tengine无法解析ssi报错 Nginx: unsafe URI detected while sending response

    Nginx: unsafe URI detected while sending response 现象:# 类似 <!--#include virtual="../library/h ...