EasyDarwin开源流媒体服务器性能瓶颈分析及优化方案设计
EasyDarwin现有架构介绍
EasyDarwin的现有架构对网络事件的处理是这样的,每一个Socket连接在EasyDarwin内部的对应存在形式就是一个Session,不论是RTSP服务对应的RTSPSession,还是HTTP服务对应的HTTPSession,都是一个继承自Task类的具体应用层对象;
EasyDarwin有一个专门的网络事件处理的线程:EventThread(网络事件线程),EventThread一方面采用select(Windows)或者epoll(Linux)的网络IO模型,将检测到的socket网络事件以Task(就是上层实际进行业务处理的Session)任务的形式投递到线程池中线程的任务队列TaskQueue中,另一方面EventThread维护Socket描述与Session::Task对象建立的key/value哈希表HashTable;
当socket第一次连接的时候,会先进行Session的建立,再Register到Hash表中,后面再次与socket相关的网络事件,都会直接在Hash表中获取到socket对应的Session进行网络事件的具体处理;
线程池中的线程不断循环读取本线程维护的任务队列TaskQueue中的Task,取出Task后,进行Task::Run()执行,而具体的执行过程就是在继承自Task的Session中Run()执行,那么在Session::Run()中执行的就是具体的Socket报文读取与处理,处理完成后响应,而对一个socket一次网络报文从读取、解析、处理、到回复响应的整个流程都是线程阻塞的,也就是在这个过程中,整个线程只能处理流媒体服务器跟一个终端的交互;
瓶颈分析
网络事件线程EventThread的主要工作就是通知,通知BlockingTaskThread有网络消息来了,需要读取和处理,然后BlockingTaskThread就开始处理具体的网络事件了,从整个读取、解析、到处理、响应,必须完整执行完成之后,当前这个BlockingTaskThread才可能会执行下一个Socket的网络事件,以通用的服务器来算,8核的服务器,我们的线程池建立16个线程,8个BlockingTaskThread(网络消息处理线程),8个ShortTaskThread(内部任务处理线程),一旦网络并发数剧增,那么在同一时刻,最多也就只能读取8个客户端发来的请求,如果服务器设计的锁比较少、处理的阻塞点控制的比较好,并发处理上还能够过得去,就像当前EasyDarwin的架构一样,处理小规模的并发上比较具有优势,但想再提升一个级别,例如万兆网卡上,在CPU还有富余的情况下首先跑满带宽这个需求,还需要进一步的优化;
优化方案设计
近期也一直在跟EasyDarwin开源团队成员Fantasy在探讨这个问题,得出的行业比较通用的做法,我们将改造EventThread,在EventThread中就将客户端请求的一个一个完整的RTSP/HTTP请求,读取出来,再以MsgTask的形式,携带完整的数据包+对应的Session指针引用,投递到TaskThread中,而这个时候TaskThread也不区分BlockingTaskThread和ShortTaskThread了,统一都为TaskThread,TaskThread内部循环读取TaskThread::TaskQueue中的Task进行处理,获取到MsgTask后,解析Msg,处理,再调用MsgTask中的Session进行Response的发送,这样就能非常均匀地将网络报文先读取到系统,再通过内部的线程池进行报文处理的消化,和响应的发送,充分地利用的线程池和消息队列,大大增加了网络的吞吐量;
获取更多信息
Github:https://github.com/easydarwin
Copyright © EasyDarwin.org 2012-2016
EasyDarwin开源流媒体服务器性能瓶颈分析及优化方案设计的更多相关文章
- EasyDarwin开源流媒体服务器性能优化之Work-stealing优化方案
本文转自EasyDarwin开源团队成员Alex的博客:http://blog.csdn.net/cai6811376/article/details/52400226 EasyDarwin团队的Ba ...
- EasyDarwin开源流媒体服务器将select改为epoll的方法
本文来自EasyDarwin团队Fantasy(fantasy(at)easydarwin.org) 一. EasyDarwin网络模型介绍 EventContext负责监听所有网络读写事件,Even ...
- EasyDarwin开源流媒体服务器Golang版本:拉转推功能之拉流实现方法
EasyDarwin开源流媒体服务器(www.easydarwin.org),拉转推是一个很有意义的功能,它可将一个独立的RTSP数据源"拉"到服务器,再通过转发协议转发给多个客户 ...
- NodeJS版本EasyDarwin开源流媒体服务器开发心得
title: Node版本EasyDarwin开发心得 date: 2018-03-27 22:46:15 tags: 年后着手Node版本EasyDarwin的开发工作,截止到今天2018年03月2 ...
- EasyDarwin开源流媒体服务器Golang版本:服务端录像功能发布
EasyDarwin开源流媒体服务器(www.easydarwin.org)现在使用Go版本实现了.最新的代码提交,已经支持了推流(或者拉流)的同时进行本地存储. 本地存储的原理,是在推流的同时启动f ...
- EasyDarwin开源流媒体服务器实现RTSP直播同步输出MP4、RTMP、HLS的方案思路
背景 近期跟开源团队商量,想在EasyDarwin上继续做一些功能扩展,目前EasyDarwin开源流媒体服务器只能够实现高效的RTSP推流直播转发/分发功能,输入与输出都是RTSP/RTP流,不能够 ...
- 解决用EasyDarwin开源流媒体服务器做HLS直播时Flash Player卡住的问题
最近在开发EasyDarwin开源流媒体服务器HLS直播的时候发现一个现象:在PC上用flash player播放HLS和在ios上面播放HLS时,效果明显不同,在ios上播放非常稳定,而在flash ...
- EasyDarwin开源流媒体服务器提供的TS切片/HLS直播打包库
EasyHLS Github:https://github.com/EasyDarwin/EasyHLS EasyHLS是什么? EasyHLS是EasyDarwin开源流媒体社区开发的一款HLS打 ...
- EasyDarwin开源流媒体服务器内存管理优化
-本文由EasyDarwin开源团队成员Fantasy贡献 前言 最近在linux上跑EasyDarwin发现一个很奇怪的问题,当有RTSPSession连接上来的时候,发现进程的虚拟内存映射一下就多 ...
随机推荐
- 页面之间传值的方法asp
原文发布时间为:2008-06-02 -- 来源于本人的百度文章 [由搬家工具导入] asp.net页面间传值 今天学习中要在两个页面中传值,网上搜了一下,asp.net主要用到三个方法,前两个req ...
- 42深入理解C指针之---指针与队列
一.借助第40指针与链表的相关内容,稍微修改即可: 1.定义头文件queue.h代码如下: #include <stdlib.h> #include <stdio.h> #if ...
- html5(历史管理)
<!DOCTYPE html> <head> <meta http-equiv="Content-Type" content="text/h ...
- 小程序-支持的最小像素px
经过我手机多次测试,支持的最小px为: 8px;
- HTML-loading动画1
<!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title> ...
- ubuntu和raspberry下调试python_spi备忘
Ubuntu12.04 自安装python3.3中头文件Python.h路径:usr/local/python3.3/include/python3.3m Ubuntu12.04 自带的Python2 ...
- 第3章 Spring Boot 入门指南
Part II. 入门指南 如果你刚刚开始使用Spring Boot,这是你的一部分内容! 在这里我们将会回答一些基本的“what?”, “how?” 和 “why?”的问题. 在这里你会找到一个详细 ...
- LINUX___的常用几个快捷键
linux下:ctrl-c 发送 SIGINT 信号给前台进程组中的所有进程.常用于终止正在运行的程序.ctrl-z 发送 SIGTSTP 信号给前台进程组中的所有进程,常用于挂起一个进程.ctrl- ...
- dubbo开发者指南
开发者指南 参与 流程 任务 版本管理 源码构建 框架设计 整体设计 模块分包 依赖关系 调用链 暴露服务时序 引用服务时序 领域模型 基本原则 扩展点加载 扩展点配置 扩展点自动包装 扩展点自动装配 ...
- SQLAlchemy的查询操作Query
查询操作 查询子句使用session的.query()方法来获取Query查询对象.查询对象能够使用一些方法来对应一些查询子句,比如.order_by(),.limit(),.filter()等. 查 ...