(原)ffmpeg过滤器开发和理解

最近学习了ffmpeg关于filter过滤器的开发，关于中间的几个相关概念，我们先放在简单介绍一下：

AVFilterGraph:几乎完全等同与directShow中的fitlerGraph,代表一串连接起来的filter们.

AVFilter:代表一个filter.

AVFilterPad:代表一个filter的输入或输出口,等同于DShow中的Pin.只有输出pad的filter叫source,只有输入pad的tilter叫sink.

AVFilterLink:代表两个连接的fitler之间的粘合物.

 

然后分别看下各自的结构定义

1，过滤器结构体定义：

 struct AVFilter{
 const char * name；//过滤器名称。

 const char * description；//过滤器说明。

 const AVFilterPad * inputs；//输入列表，由零元素终止。

 const AVFilterPad * outputs；//输出列表，由零元素终止。

 const AVClass * priv_class；//私有数据类，用于声明过滤器私有AVOptions。

 int flags； //AVFILTER_FLAG_ *的组合。

 int(* init )(AVFilterContext *ctx)；//过滤初始化函数。

 //应该通过想要将AVOptions的字典传递给在init中分配的嵌套上下文的过滤器来设置而不是init。
 int(* init_dict )(AVFilterContext *ctx, AVDictionary **options)；

 //过滤器在其输入和输出上支持的查询格式
 void(* uninit )(AVFilterContext *ctx)；

 //要为过滤器分配的私有数据的大小
 int priv_size；

 //avfilter的附加标志仅供内部使用。
 int flags_internal；

 // 由过滤器注册系统使用。
 struct AVFilter * next；

 // 使过滤器实例处理一个命令。
 int(* process_command )(AVFilterContext *, const char *cmd, const char *arg, char *res, int res_len, int flags)；

 //过滤初始化函数，替代init（）回调。
 int(* init_opaque )(AVFilterContext *ctx, void *opaque)；

 //过滤器激活函数。
 int(* activate )(AVFilterContext *ctx);
 }

2，过滤器输入输出pad结构体AVFilterPad介绍

 struct AVFilterPad {
 //过滤器pad名称
 const char *name;
 //pad元素的媒体类型，音频或者视频
 enum AVMediaType type;

 //获取视频缓存帧数据的回调函数，只能用于input video pad，如果这个用户没有定义，就会指派一个默认的回调函数 ff_default_get_video_buffer().
 AVFrame *(*get_video_buffer)(AVFilterLink *link, int w, int h);

 //获取音频缓存帧数据的回调函数，只能用于input audio pad，如果这个用户没有定义，就会指派一个默认的回调函数 ff_default_get_audio_buffer().
 AVFrame *(*get_audio_buffer)(AVFilterLink *link, int nb_samples);

 //过滤器回调函数，这个是当一个过滤器收到一个音频或者视频帧数据，然后调用这个回调函数进行处理
 int (*filter_frame)(AVFilterLink *link, AVFrame *frame);

 //仅用于output pad的poll回调函数,这将返回立即可用的示例的数量。如果下一个request_frame()保证返回一个帧，那么它应该返回一个正值
 int (*poll_frame)(AVFilterLink *link);

 //仅用于output pad,帧请求回调函数,
 int (*request_frame)(AVFilterLink *link);

 //link配置回调函数，对于input pad，它主要是做一些link的属性检查，已经更新一些过滤器内部状态，例如自己定义的结构体状态初始化等，可以在这个函数里面做一些必要的操作，而对于ouput pad，他应该会设置width/height信息
 int (*config_props)(AVFilterLink *link);

 int needs_fifo;

 int needs_writable;
 }

3，过滤器实例上下文结构体AVFilterContext介绍

 struct AVFilterContext{
 const AVClass * av_class；//需要av_log（）和过滤常用选项
 const AVFilter * filter；// AVFilter的一个实例
 char * name； //此过滤器实例的名称
 AVFilterPad * input_pads；//数组输入板
 AVFilterLink ** inputs；//指向输入链接的指针数组
 unsigned nb_inputs；//输入板数
 AVFilterPad * output_pads；//输出板阵列
 unsigned nb_outputs；//输出板数量
 void * priv； //过滤器使用的私人数据
 struct AVFilterGraph * graph；//filtergraph this filter belongs to
 int thread_type；//允许/使用的多线程类型。
 AVFilterInternal * internal；//libavfilter内部使用的不透明结构。
 struct AVFilterCommand * command_queue；
 char * enable_str；//启用表达式字符串
 void * enable；// 解析的表达式（AVExpr *）
 double * var_values；//启用表达式的变量值
 int is_disabled；//从最后的表达式评估启用状态

 //对于将创建硬件框架的过滤器，设置过滤器应在其中创建的设备。
 AVBufferRef * hw_device_ctx；
 int nb_threads；//此过滤器实例允许的最大线程数。
 unsigned ready；//过滤器的就绪状态
 }

对于他们的关系，我们借用一下别人画的这个图：

 

 

 

 

 

 

结合这个图，我们来分析一下，过滤器直接的数据传递是怎么样的，什么样的过滤器需要在AVFilterPad结构体里面定义filter_frame函数来做过滤器应该做的事情，什么时候更加适合考虑把过滤器处理数据的事情放到AVFilter的activate函数里面。

 

先说一下我个人的理解:针对只有一个输入流的过滤器，直接对过滤器中的唯一的一个帧原始数据进行处理的，例如scale这种的过滤器，我们更加合适把过滤器的事情放到pad里面的filter_frame函数中来处理，而对于将多个输入流的数据进行处理的过滤器，例如overlay(它必须有两个输入数据，main,overlay两层)，他更加适合将数据放到处理过程放入到avfilter的activate函数里面，通过它来调用ff_framesync_activate函数，从而调用FFFrameSync中的on_event处理。

 

 

 引用请注明出处：https://www.cnblogs.com/lihaiping/p/avfilter.html