开发个RTMP播放器居然这么难？RTMP播放器对标和考察指标

好多开发者提到，RTMP播放器，不知道有哪些对标和考察指标，以下大概聊聊我们的一点经验，感兴趣的，可以关注 github：

1. 低延迟：大多数RTMP的播放都面向直播场景，如果延迟过大，严重影响体验，所以，低延迟是衡量一个好的RTMP播放器非常重要的指标，目前大牛直播SDK的RTMP直播播放延迟比开源播放器更优异（大牛直播SDK延迟在1秒左右，开源播放器如VLC，延迟在5-7秒），而且长时间运行下，大牛直播SDK播放端不会造成延迟累积，开源或第三方播放器，长时间运行，容易产生延迟累积；

部分服务器会缓存GOP，确保快速实现首屏播放，又不影响延迟，对此，我们设计了快速启动接口，快速render第一帧的同时，追到最新的播放数据：

		/*
         * 设置秒开, 1为秒开, 0为不秒开
		 */
		[DllImport(@"SmartPlayerSDK.dll")]
        public static extern UInt32 NT_SP_SetFastStartup(IntPtr handle, Int32 isFastStartup);

2. 音视频同步处理：大多播放器为了追求低延迟，甚至不做音视频同步，拿到audio video直接播放，导致a/v不同步，还有就是时间戳乱跳等各种问题，大牛直播SDK提供的播放器，具备好的时间戳同步和异常时间戳矫正机制；

备注：如果是超低延迟模式下，可以0 buffer，不做音视频同步：

        /*
         * 设置低延时播放模式，默认是正常播放模式
         * mode: 1为低延时模式， 0为正常模式，其他只无效
         * 接口调用成功返回NT_ERC_OK
         */
        [DllImport(@"SmartPlayerSDK.dll")]
		public static extern UInt32 NT_SP_SetLowLatencyMode(IntPtr handle, Int32 mode);

3. 支持多实例：大牛直播SDK提供的RTMP直播播放SDK支持在设备性能允许的情况下，支持多实例播放RTMP流数据，大多开源播放器对多实例支持不太友好；

除了常规的多实例外，比如大屏监控场景下，尽管我们CPU占用已经是行业内非常低的了，但是好多厂家下，不是每路都需要全帧播放，针对此种情况，我们做了实时只播放关键帧和全帧播放的接口设计，比如8个实例，其中不太重要的几路数据，可以设置只播放关键帧，需要重点关注时，点击全帧率播放即可，这样既节省了系统开销，又实现了多路播放的目的：

        /*
         * 设置只解码视频关键帧
         * is_only_dec_key_frame: 1:表示只解码关键帧, 0:表示都解码, 默认是0
         * 成功返回NT_ERC_OK
		 */
        [DllImport(@"SmartPlayerSDK.dll")]
        public static extern UInt32 NT_SP_SetOnlyDecodeVideoKeyFrame(IntPtr handle, Int32 is_only_dec_key_frame);

4. 支持buffer time设置：在一些有网络抖动的场景，播放器需要支持buffer time设置，一般来说，以毫秒计，开源播放器对此支持不够友好；

5. 实时静音：比如，多窗口播放RTMP流，如果每个audio都播放出来，体验非常不好，所以实时静音功能非常必要，开源播放器不具备实时静音功能；

6. 视频view旋转：好多摄像头由于安装限制，导致图像倒置，所以一个好的RTMP播放器应该支持如视频view实时旋转(0° 90° 180° 270°)、水平反转、垂直反转，开源或第三方播放器不具备此功能；

        /*
		 *上下反转(垂直反转)
		 *is_flip: 1:表示反转, 0:表示不反转
		 */
		[DllImport(@"SmartPlayerSDK.dll")]
		public static extern UInt32 NT_SP_SetFlipVertical(IntPtr handle, Int32 is_flip);

		/*
		 *水平反转
		 *is_flip: 1:表示反转, 0:表示不反转
		 */
		[DllImport(@"SmartPlayerSDK.dll")]
        public static extern UInt32 NT_SP_SetFlipHorizontal(IntPtr handle, Int32 is_flip);

		/*
         * 设置旋转，顺时针旋转
         * degress： 设置0， 90， 180， 270度有效，其他值无效
         * 注意：除了0度，其他角度播放会耗费更多CPU
         * 接口调用成功返回NT_ERC_OK
		 */
        [DllImport(@"SmartPlayerSDK.dll")]
        public static extern UInt32 NT_SP_SetRotation(IntPtr handle, Int32 degress);

7. 支持解码后audio/video数据输出：大牛直播SDK接触到好多开发者，希望能在播放的同时，获取到YUV或RGB数据，进行人脸匹配等算法分析，开源播放器不具备此功能；

        public void SDKVideoFrameCallBack(UInt32 status, NT_SP_VideoFrame frame)
        {
            if (cur_video_frame_.plane0_ != IntPtr.Zero)
            {
                Marshal.FreeHGlobal(cur_video_frame_.plane0_);
                cur_video_frame_.plane0_ = IntPtr.Zero;
            }

            cur_video_frame_ = frame;

            this.Invalidate();
        }

        public void SDKAudioPCMFrameCallBack(UInt32 status, IntPtr data, UInt32 size,
        Int32 sample_rate, Int32 channel, Int32 per_channel_sample_number)
        {
            //这里拿到回调的PCM frame，进行相关操作（如自己播放）
            //label_debug.Text = per_channel_sample_number.ToString();

            //release
            Marshal.FreeHGlobal(data);
        }

        public void SetVideoFrameCallBack(IntPtr handle, IntPtr userData, UInt32 status, IntPtr frame)
        {
            if (frame == IntPtr.Zero)
            {
                return;
            }

            //如需直接处理RGB数据，请参考以下流程
            NT_SP_VideoFrame video_frame = (NT_SP_VideoFrame)Marshal.PtrToStructure(frame, typeof(NT_SP_VideoFrame));

            NT_SP_VideoFrame pVideoFrame = new NT_SP_VideoFrame();

            pVideoFrame.format_ = video_frame.format_;
            pVideoFrame.width_ = video_frame.width_;
            pVideoFrame.height_ = video_frame.height_;

            pVideoFrame.timestamp_ = video_frame.timestamp_;
            pVideoFrame.stride0_ = video_frame.stride0_;
            pVideoFrame.stride1_ = video_frame.stride1_;
            pVideoFrame.stride2_ = video_frame.stride2_;
            pVideoFrame.stride3_ = video_frame.stride3_;

            Int32 argb_size = video_frame.stride0_ * video_frame.height_;

            pVideoFrame.plane0_ = Marshal.AllocHGlobal(argb_size);
            CopyMemory(pVideoFrame.plane0_, video_frame.plane0_, (UInt32)argb_size);

            if (playWnd.InvokeRequired)
            {
                BeginInvoke(set_video_frame_call_back_, status, pVideoFrame);
            }
            else
            {
                set_video_frame_call_back_(status, pVideoFrame);
            }
        }

        public void SetAudioPCMFrameCallBack(IntPtr handle, IntPtr user_data,
             UInt32 status, IntPtr data, UInt32 size,
             Int32 sample_rate, Int32 channel, Int32 per_channel_sample_number)
        {
            if (data == IntPtr.Zero || size == 0)
            {
                return;
            }

            IntPtr pcmData = Marshal.AllocHGlobal((Int32)size);
            CopyMemory(pcmData, data, (UInt32)size);

            if (playWnd.InvokeRequired)
            {
                BeginInvoke(set_audio_pcm_frame_call_back_, status, pcmData, size, sample_rate, channel, per_channel_sample_number);
            }
            else
            {
                set_audio_pcm_frame_call_back_(status, pcmData, size, sample_rate, channel, per_channel_sample_number);
            }
        }

8. 实时快照：感兴趣或重要的画面，实时截取下来非常必要，一般播放器不具备快照能力，开源播放器不具备此功能；

        /*
		 * 捕获图片
		 * file_name_utf8: 文件名称，utf8编码
		 * call_back_data: 回调时用户自定义数据
		 * call_back: 回调函数，用来通知用户截图已经完成或者失败
		 * 成功返回 NT_ERC_OK
		 * 只有在播放时调用才可能成功，其他情况下调用，返回错误.
		 * 因为生成PNG文件比较耗时，一般需要几百毫秒,为防止CPU过高，SDK会限制截图请求数量,当超过一定数量时，
		 * 调用这个接口会返回NT_ERC_SP_TOO_MANY_CAPTURE_IMAGE_REQUESTS. 这种情况下, 请延时一段时间，等SDK处理掉一些请求后，再尝试.
		 */
        [DllImport(@"SmartPlayerSDK.dll")]
        public static extern UInt32 NT_SP_CaptureImage(IntPtr handle, IntPtr file_name_utf8,
            IntPtr call_back_data, SP_SDKCaptureImageCallBack call_back);

        public void SDKCaptureImageCallBack(IntPtr handle, IntPtr userData, UInt32 result, IntPtr file_name)
        {
            if (file_name == IntPtr.Zero)
                return;

            int index = 0;

            while (true)
            {
                if (0 == Marshal.ReadByte(file_name, index))
                    break;

                index++;
            }

            byte[] file_name_buffer = new byte[index];

            Marshal.Copy(file_name, file_name_buffer, 0, index);

            byte[] dst_buffer = Encoding.Convert(Encoding.UTF8, Encoding.Default, file_name_buffer, 0, file_name_buffer.Length);
            String image_name = Encoding.Default.GetString(dst_buffer, 0, dst_buffer.Length);

            if (playWnd.InvokeRequired)
            {
                BeginInvoke(set_capture_image_call_back_, result, image_name);
            }
            else
            {
                set_capture_image_call_back_(result, image_name);
            }
        }

9. 网络抖动处理(如断网重连)：稳定的网络处理机制、支持如断网重连等，开源播放器对网络异常处理支持较差；

        /*事件ID*/
        public enum NT_SP_E_EVENT_ID : uint
        {
            NT_SP_E_EVENT_ID_BASE = NTBaseCodeDefine.NT_EVENT_ID_SMART_PLAYER_SDK,

	        NT_SP_E_EVENT_ID_CONNECTING			= NT_SP_E_EVENT_ID_BASE | 0x2,	/*连接中*/
	        NT_SP_E_EVENT_ID_CONNECTION_FAILED	= NT_SP_E_EVENT_ID_BASE | 0x3,	/*连接失败*/
	        NT_SP_E_EVENT_ID_CONNECTED			= NT_SP_E_EVENT_ID_BASE | 0x4,	/*已连接*/
	        NT_SP_E_EVENT_ID_DISCONNECTED		= NT_SP_E_EVENT_ID_BASE | 0x5,	/*断开连接*/
            NT_SP_E_EVENT_ID_NO_MEDIADATA_RECEIVED = NT_SP_E_EVENT_ID_BASE | 0x8,	/*收不到RTMP数据*/
            NT_SP_E_EVENT_ID_RTSP_STATUS_CODE   = NT_SP_E_EVENT_ID_BASE | 0xB,  /*rtsp status code上报, 目前只上报401, param1表示status code*/

	        /* 接下来请从0x81开始*/
	        NT_SP_E_EVENT_ID_START_BUFFERING = NT_SP_E_EVENT_ID_BASE | 0x81, /*开始缓冲*/
	        NT_SP_E_EVENT_ID_BUFFERING		 = NT_SP_E_EVENT_ID_BASE | 0x82, /*缓冲中, param1 表示百分比进度*/
	        NT_SP_E_EVENT_ID_STOP_BUFFERING  = NT_SP_E_EVENT_ID_BASE | 0x83, /*停止缓冲*/

	        NT_SP_E_EVENT_ID_DOWNLOAD_SPEED  = NT_SP_E_EVENT_ID_BASE | 0x91, /*下载速度， param1表示下载速度，单位是(Byte/s)*/

            NT_SP_E_EVENT_ID_PLAYBACK_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa1,     /*播放结束, 直播流没有这个事件，点播流才有*/
            NT_SP_E_EVENT_ID_RECORDER_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa2,     /*录像结束, 直播流没有这个事件, 点播流才有*/
            NT_SP_E_EVENT_ID_PULLSTREAM_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa3,   /*拉流结束, 直播流没有这个事件，点播流才有*/

            NT_SP_E_EVENT_ID_DURATION = NT_SP_E_EVENT_ID_BASE | 0xa8, /*视频时长，如果是直播，则不上报，如果是点播的话, 若能从视频源获取视频时长的话，则上报， param1表示视频时长，单位是毫秒(ms)*/
        }

10. 长期运行稳定性：大牛直播SDK提供的RTMP直播播放SDK适用于长时间运行，开源播放器对长时间运行稳定性支持较差；

11. 实时下载速度反馈：大牛直播SDK提供音视频流实时下载回调，并可设置回调时间间隔，确保实时下载速度反馈，以此来监听网络状态，开源播放器不具备此能力；

        /*
         * 设置下载速度上报, 默认不上报下载速度
         * is_report: 上报开关, 1: 表上报. 0: 表示不上报. 其他值无效.
         * report_interval： 上报时间间隔（上报频率），单位是秒，最小值是1秒1次. 如果小于1且设置了上报，将调用失败
         * 注意：如果设置上报的话，请设置SetEventCallBack, 然后在回调函数里面处理这个事件.
         * 上报事件是：NT_SP_E_EVENT_ID_DOWNLOAD_SPEED
         * 这个接口必须在StartXXX之前调用
         * 成功返回NT_ERC_OK
		 */
        [DllImport(@"SmartPlayerSDK.dll")]
        public static extern UInt32 NT_SP_SetReportDownloadSpeed(IntPtr handle, Int32 is_report, Int32 report_interval);

		/*
         * 主动获取下载速度
         * speed： 返回下载速度，单位是Byte/s
         * （注意：这个接口必须在startXXX之后调用，否则会失败）
         * 成功返回NT_ERC_OK
		 */
        [DllImport(@"SmartPlayerSDK.dll")]
        public static extern UInt32 NT_SP_GetDownloadSpeed(IntPtr handle, ref Int32 speed);

12. 异常状态处理、Event状态回调：如播放的过程中断网，大牛直播SDK提供的播放器可实时回调相关状态，确保上层模块感知处理，开源播放器对此支持不好；

		/*
         * 设置事件回调，如果想监听事件的话，建议调用Open成功后，就调用这个接口
         */
        [DllImport(@"SmartPlayerSDK.dll")]
        public static extern UInt32 NT_SP_SetEventCallBack(IntPtr handle, IntPtr call_back_data, SP_SDKEventCallBack call_back);

		/*
         * 设置视频大小回调接口
		 */
		[DllImport(@"SmartPlayerSDK.dll")]
        public static extern UInt32 NT_SP_SetVideoSizeCallBack(IntPtr handle, IntPtr callbackdata, SP_SDKVideoSizeCallBack call_back);

		/*
         * 设置视频回调, 吐视频数据出来
         * frame_format: 只能是NT_SP_E_VIDEO_FRAME_FORMAT_RGB32, NT_SP_E_VIDEO_FRAME_FROMAT_I420
		 */
        [DllImport(@"SmartPlayerSDK.dll")]
        public static extern UInt32 NT_SP_SetVideoFrameCallBack(IntPtr handle, Int32 frame_format,
            IntPtr callbackdata, SP_SDKVideoFrameCallBack call_back);

        /*
         * 设置视频回调, 吐视频数据出来, 可以指定吐出来的视频宽高
         * handle: 播放句柄
         * scale_width：缩放宽度（必须是偶数，建议是 16 的倍数)
         * scale_height：缩放高度（必须是偶数)
         * scale_filter_mode: 缩放质量, 0 的话 SDK 将使用默认值, 目前可设置范围为[1, 3], 值越大 缩放质量越好，但越耗性能
         * frame_format: 只能是NT_SP_E_VIDEO_FRAME_FORMAT_RGB32, NT_SP_E_VIDEO_FRAME_FROMAT_I420
         * 成功返回NT_ERC_OK
		 */
        [DllImport(@"SmartPlayerSDK.dll")]
        public static extern UInt32 NT_SP_SetVideoFrameCallBackV2(IntPtr handle,
            Int32 scale_width, Int32 scale_height,
            Int32 scale_filter_mode, Int32 frame_format,
            IntPtr call_back_data, SP_SDKVideoFrameCallBack call_back);

       /*
		* 设置绘制视频帧时，视频帧时间戳回调
		* 注意如果当前播放流是纯音频，那么将不会回调，这个仅在有视频的情况下才有效
		*/
        [DllImport(@"SmartPlayerSDK.dll")]
        public static extern UInt32 NT_SP_SetRenderVideoFrameTimestampCallBack(IntPtr handle,
            IntPtr callbackdata, SP_SDKRenderVideoFrameTimestampCallBack call_back);

        /*
         * 设置音频PCM帧回调, 吐PCM数据出来，目前每帧大小是10ms.
		 */
        [DllImport(@"SmartPlayerSDK.dll")]
        public static extern UInt32 NT_SP_SetAudioPCMFrameCallBack(IntPtr handle,
            IntPtr call_back_data, SP_SDKAudioPCMFrameCallBack call_back);

        /*
		 * 设置用户数据回调
		 */
		[DllImport(@"SmartPlayerSDK.dll")]
        public static extern UInt32 NT_SP_SetUserDataCallBack(IntPtr handle,
			IntPtr call_back_data, SP_SDKUserDataCallBack call_back);

		/*
		 * 设置视频sei数据回调
		 */
		[DllImport(@"SmartPlayerSDK.dll")]
        public static extern UInt32 NT_SP_SetSEIDataCallBack(IntPtr handle,
            IntPtr call_back_data, SP_SDKSEIDataCallBack call_back);

13. 设置视频填充模式（等比例显示）：好多情况下，有些场景需要全view铺满播放，有些为了防止视频拉伸，可以设置成等比例缩放显示；

        /*
         * 设置视频画面的填充模式，如填充整个绘制窗口、等比例填充绘制窗口，如不设置，默认填充整个绘制窗口
         * handle: 播放句柄
         * mode： 0: 填充整个绘制窗口; 1: 等比例填充绘制窗口, 默认值是0
         * 成功返回NT_ERC_OK
		 */
        [DllImport(@"SmartPlayerSDK.dll")]
        public static extern UInt32 NT_SP_SetRenderScaleMode(IntPtr handle, Int32 mode);

14. D3D检测：一般来说市面上的大多Windows都支持D3D，有些小众化的，只支持GDI模式绘制，所以为了更好的兼容性，这个接口非常必要。

		/*
         * handle: 播放句柄
         * hwnd: 这个要传入真正用来绘制的窗口句柄
         * is_support: 如果支持的话 *is_support 为1， 不支持的话为0
         * 接口调用成功返回NT_ERC_OK
		 */
        [DllImport(@"SmartPlayerSDK.dll")]
        public static extern UInt32 NT_SP_IsSupportD3DRender(IntPtr handle, IntPtr hwnd, ref Int32 is_support);