EasyDarwin开源流媒体云平台之语音对讲功能设计与实现

本文由EasyDarwin开源团队成员Alex贡献：http://blog.csdn.net/cai6811376/article/details/52006958

EasyDarwin云平台一直在稳步的升级迭代中，近日，EasyDarwin云平台实现了语音对讲的功能。对讲功能的加入，标志着EasyDarwin云平台进一步的完善。

流程设计
1. 客户端使用POST的方式在body中携带协议报文向云平台发送开始对讲命令；
2. 云平台组织协议报文向指定的设备发送；
3. 设备执行开始对讲命令后向云平台返回相应报文；
4. 云平台将响应报文返回给客户端；
5. 客户端请求开始对讲成功后，开始向云平台发送采集的音频数据；
6. 云平台将音频数据转发给设备；
7. 设备将音频数据播放出来；
8. 客户端需要停止对讲时，向云平台发送停止对讲命令；
9. 云平台转发给设备；
10. 设备执行停止对讲后返回执行结果给云平台；
11. 云平台将结果返回给客户端。

协议设计

//客户端向云平台发送对讲报文
{
   "EasyDarwin": {
      "Body": {
         "Channel": "0",
         "Command": "START",
         "AudioType": "G711A",
         "Protocol": "ONVIF",
         "Reserve": "1",
         "Serial": "001001000058",
         "Preset": "3",
         "AudioData": "BASE64DATA",
         "Pts": "20"
      },
      "Header": {
         "CSeq": "1",
         "MessageType": "MSG_CS_TALKBACK_CONTROL_REQ",
         "Version": "1.0"
      }
   }
}

格式说明：

Serial：设备序列号；

Channel：摄像机通道号；

Protocol：指定预置位控制方式，ONVIF协议或者设备SDK；

Command：对讲控制命令，包括启动对讲、停止对讲、发送对讲数据(START/STOP/SENDDATA)；

AudioType：音频数据类型，包括G711A/G726；

AudioData：音频数据，将音频数据通过Base64编码发送；

Pts：音频时间戳，开始为0，每20ms增加20；

Reserve:预留。

//云平台响应客户端请求
{
    "EasyDarwin": {
        "Body": {
            "Channel": "0",
            "Protocol": "ONVIF",
            "Reserve": "1",
            "Serial": "001001000058"
        },
        "Header": {
            "CSeq": "1",
            "ErrorNum": "200",
            "ErrorString": "Success OK",
            "MessageType": "MSG_SC_TALKBACK_CONTROL_ACK",
            "Version": "1.0"
        }
    }
}

//云平台向设备发送对讲命令
{
   "EasyDarwin": {
      "Body": {
         "Channel": "0",
         "Command": "SENDDATA",
         "AudioType": "G711A",
         "AudioData": "BASE64DATA",
         "Pts": "20",
         "From": "f6a221eec46b47dea8ae1a2bd11f8d02",
         "Protocol": "ONVIF",
         "Reserve": "1",
         "Serial": "001001000058",
         "To": "245d6ec33cd247b7b7524219552db4d8",
         "Via": "27823d2e8b6b4032b453d435a16b7be8"
      },
      "Header": {
         "CSeq": "1",
         "MessageType": "MSG_SD_CONTROL_TALKBACK_REQ",
         "Version": "1.0"
      }
   }
}

格式说明：

From: EasyCMS接收Client访问的SessionID；

To: EasyCMS向Device发送报文的SessionID；

Via: EasyCMS的ServiceID；

//设备向云平台响应对讲命令
{
   "EasyDarwin": {
      "Body": {
         "Channel": "0",
         "From": "245d6ec33cd247b7b7524219552db4d8",
         "Protocol": "ONVIF",
         "Reserve": "1",
         "Serial": "001001000058",
         "To": "f6a221eec46b47dea8ae1a2bd11f8d02",
         "Via": "27823d2e8b6b4032b453d435a16b7be8"
      },
      "Header": {
         "CSeq": "1",
         "ErrorNum": "200",
         "ErrorString": "Success OK",
         "MessageType": "MSG_DS_CONTROL_TALKBACK_ACK",
         "Version": "1.0"
      }
   }
}

实现

//EasyCMS HTTPSession.cpp execNetMsgCSTalkbackControlReq
QTSS_Error HTTPSession::execNetMsgCSTalkbackControlReq(const char* json)
{
    if (!fAuthenticated)//没有进行认证请求
        return httpUnAuthorized;
    EasyProtocol req(json);
    string strDeviceSerial = req.GetBodyValue(EASY_TAG_SERIAL);
    string strChannel = req.GetBodyValue(EASY_TAG_CHANNEL);
    string strProtocol = req.GetBodyValue(EASY_TAG_PROTOCOL);
    string strReserve = req.GetBodyValue(EASY_TAG_RESERVE);
    string strCmd = req.GetBodyValue(EASY_TAG_CMD);
    string strAudioType = req.GetBodyValue(EASY_TAG_AUDIO_TYPE);
    string strAudioData = req.GetBodyValue(EASY_TAG_AUDIO_DATA);
    string strPts = req.GetBodyValue(EASY_TAG_PTS);
    string strCSeq = req.GetHeaderValue(EASY_TAG_CSEQ);//这个是关键字
    if (strChannel.empty())
        strChannel = "0";
    if (strReserve.empty())
        strReserve = "1";
    OSRefTableEx* deviceMap = QTSServerInterface::GetServer()->GetDeviceSessionMap();
    OSRefTableEx::OSRefEx* theDevRef = deviceMap->Resolve(strDeviceSerial);
    if (theDevRef == NULL)//找不到指定设备
        return EASY_ERROR_DEVICE_NOT_FOUND;
    OSRefReleaserEx releaser(deviceMap, strDeviceSerial);
    //走到这说明存在指定设备
    HTTPSession* pDevSession = static_cast<HTTPSession *>(theDevRef->GetObjectPtr());//获得当前设备回话
    string errNo, errString;
    if (strCmd == "SENDDATA")
    {
        if (!pDevSession->GetTalkbackSession().empty() && pDevSession->GetTalkbackSession() == fSessionID)
        {
            EasyProtocolACK reqreq(MSG_SD_CONTROL_TALKBACK_REQ);
            EasyJsonValue headerheader, bodybody;
            char chTemp[16] = { 0 };
            UInt32 uDevCseq = pDevSession->GetCSeq();
            sprintf(chTemp, "%d", uDevCseq);
            headerheader[EASY_TAG_CSEQ] = string(chTemp);//注意这个地方不能直接将UINT32->int,因为会造成数据失真
            headerheader[EASY_TAG_VERSION] = EASY_PROTOCOL_VERSION;
            bodybody[EASY_TAG_SERIAL] = strDeviceSerial;
            bodybody[EASY_TAG_CHANNEL] = strChannel;
            bodybody[EASY_TAG_PROTOCOL] = strProtocol;
            bodybody[EASY_TAG_RESERVE] = strReserve;
            bodybody[EASY_TAG_CMD] = strCmd;
            bodybody[EASY_TAG_AUDIO_TYPE] = strAudioType;
            bodybody[EASY_TAG_AUDIO_DATA] = strAudioData;
            bodybody[EASY_TAG_PTS] = strPts;
            bodybody[EASY_TAG_FROM] = fSessionID;
            bodybody[EASY_TAG_TO] = pDevSession->GetValue(EasyHTTPSessionID)->GetAsCString();
            bodybody[EASY_TAG_VIA] = QTSServerInterface::GetServer()->GetCloudServiceNodeID();
            reqreq.SetHead(headerheader);
            reqreq.SetBody(bodybody);
            string buffer = reqreq.GetMsg();
            StrPtrLen theValue(const_cast<char*>(buffer.c_str()), buffer.size());
            pDevSession->SendHTTPPacket(&theValue, false, false);
            errNo = EASY_ERROR_SUCCESS_OK;
            errString = EasyProtocol::GetErrorString(EASY_ERROR_SUCCESS_OK);
        }
        else
        {
            errNo = EASY_ERROR_CLIENT_BAD_REQUEST;
            errString = EasyProtocol::GetErrorString(EASY_ERROR_CLIENT_BAD_REQUEST);
            goto ACK;
        }
    }
    else
    {
        if (strCmd == "START")
        {
            if (pDevSession->GetTalkbackSession().empty())
            {
                pDevSession->SetTalkbackSession(fSessionID);
                errNo = EASY_ERROR_SUCCESS_OK;
                errString = EasyProtocol::GetErrorString(EASY_ERROR_SUCCESS_OK);
            }
            else
            {
                errNo = EASY_ERROR_CLIENT_BAD_REQUEST;
                errString = EasyProtocol::GetErrorString(EASY_ERROR_CLIENT_BAD_REQUEST);
                goto ACK;
            }
        }
        else if (strCmd == "STOP")
        {
            if (pDevSession->GetTalkbackSession().empty() || pDevSession->GetTalkbackSession() != fSessionID)
            {
                errNo = EASY_ERROR_CLIENT_BAD_REQUEST;
                errString = EasyProtocol::GetErrorString(EASY_ERROR_CLIENT_BAD_REQUEST);
                goto ACK;
            }
            else
            {
                pDevSession->SetTalkbackSession("");
                errNo = EASY_ERROR_SUCCESS_OK;
                errString = EasyProtocol::GetErrorString(EASY_ERROR_SUCCESS_OK);
            }
        }
        EasyProtocolACK reqreq(MSG_SD_CONTROL_TALKBACK_REQ);
        EasyJsonValue headerheader, bodybody;
        char chTemp[16] = { 0 };
        UInt32 uDevCseq = pDevSession->GetCSeq();
        sprintf(chTemp, "%d", uDevCseq);
        headerheader[EASY_TAG_CSEQ] = string(chTemp);//注意这个地方不能直接将UINT32->int,因为会造成数据失真
        headerheader[EASY_TAG_VERSION] = EASY_PROTOCOL_VERSION;
        bodybody[EASY_TAG_SERIAL] = strDeviceSerial;
        bodybody[EASY_TAG_CHANNEL] = strChannel;
        bodybody[EASY_TAG_PROTOCOL] = strProtocol;
        bodybody[EASY_TAG_RESERVE] = strReserve;
        bodybody[EASY_TAG_CMD] = strCmd;
        bodybody[EASY_TAG_AUDIO_TYPE] = strAudioType;
        bodybody[EASY_TAG_AUDIO_DATA] = strAudioData;
        bodybody[EASY_TAG_PTS] = strPts;
        bodybody[EASY_TAG_FROM] = fSessionID;
        bodybody[EASY_TAG_TO] = pDevSession->GetValue(EasyHTTPSessionID)->GetAsCString();
        bodybody[EASY_TAG_VIA] = QTSServerInterface::GetServer()->GetCloudServiceNodeID();
        reqreq.SetHead(headerheader);
        reqreq.SetBody(bodybody);
        string buffer = reqreq.GetMsg();
        StrPtrLen theValue(const_cast<char*>(buffer.c_str()), buffer.size());
        pDevSession->SendHTTPPacket(&theValue, false, false);
    }
ACK:
    char chTemp[16] = { 0 };
    UInt32 uDevCseq = pDevSession->GetCSeq();
    sprintf(chTemp, "%d", uDevCseq);
    EasyProtocolACK rsp(MSG_SC_TALKBACK_CONTROL_ACK);
    EasyJsonValue header, body;
    body[EASY_TAG_SERIAL] = strDeviceSerial;
    body[EASY_TAG_CHANNEL] = strChannel;
    body[EASY_TAG_PROTOCOL] = strProtocol;
    body[EASY_TAG_RESERVE] = strReserve;
    header[EASY_TAG_VERSION] = EASY_PROTOCOL_VERSION;
    header[EASY_TAG_CSEQ] = string(chTemp);;
    header[EASY_TAG_ERROR_NUM] = errNo;
    header[EASY_TAG_ERROR_STRING] = errString;
    rsp.SetHead(header);
    rsp.SetBody(body);
    string msg = rsp.GetMsg();
    StrPtrLen theValueAck(const_cast<char*>(msg.c_str()), msg.size());
    this->SendHTTPPacket(&theValueAck, false, false);
    return QTSS_NoErr;
}

//EasyCamera EasyCameraSource.cpp ControlTalkback
QTSS_Error EasyCameraSource::ControlTalkback(Easy_CameraTalkback_Params* params)
{
    QTSS_Error result = QTSS_RequestFailed;
    if (cameraLogin())
    {
        HI_S32 error = HI_SUCCESS;
        switch (params->inCommand)
        {
        case EASY_TALKBACK_CMD_TYPE_START:
            {
                int type = 1;
                if (params->inType == EASY_TALKBACK_AUDIO_TYPE_G711A)
                    type = 1;
                else if (params->inType == EASY_TALKBACK_AUDIO_TYPE_G726)
                    type = 4;
                error = HI_NET_DEV_StartVoice(m_u32Handle, type);
            }
            break;
        case EASY_TALKBACK_CMD_TYPE_SENDDATA:
            {
                if (params->inBuff == NULL || params->inBuffLen == 0)
                {
                    result = QTSS_BadArgument;
                    break;
                }
                int len = params->inBuffLen;
                int offset = 0;
                int pts = params->inPts;
                while (len >= BUFFLEN)
                {
                    AddHead(fTalkbackBuff, (char*)params->inBuff + offset, BUFFLEN);
                    error = HI_NET_DEV_SendVoiceData(m_u32Handle, fTalkbackBuff, HSBUFFLEN, pts);
                    offset += BUFFLEN;
                    len -= BUFFLEN;
                    pts += PTSPER;
                }
            }
            break;
        case EASY_TALKBACK_CMD_TYPE_STOP:
            error = HI_NET_DEV_StopVoice(m_u32Handle);
            break;
        default:
            result = QTSS_RequestFailed;
            break;
        }
        if (error == HI_SUCCESS)
        {
            result = QTSS_NoErr;
        }
        else
        {
            result = QTSS_RequestFailed;
        }
    }
    return result;
}

代码与文档

EasyDarwin Github：https://github.com/easydarwin

EasyDarwin开源流媒体云平台协议文档：https://github.com/EasyDarwin/EasyDarwin/blob/master/Doc/EasyDarwin%20Protocol.pdf

获取更多信息

邮件：support@easydarwin.org

WEB：www.EasyDarwin.org

QQ交流群：496258327

EasyDarwin开源流媒体云平台之语音对讲功能设计与实现的更多相关文章

EasyCamera Android安卓移动视频监控单兵设备接入EasyDarwin开源流媒体云平台
前言随着Android系统的不断更新和发展,现在越来越多的硬件产品选择用安卓系统作为运行环境,电视机,机顶盒.门禁.行车记录仪.车载系统.单兵设备等等,Android系统底层还是Linux,但对上层 ...
EasyDarwin开源流媒体云平台支持EasyCamera摄像机、EasyCamera手机直播监控、EasyNVR等多终端接入
云平台架构 EasyDarwin开源流媒体云平台目前已经包括了EasyCMS中心管理服务.EasyDarwin流媒体服务.EasyCamera设备端(支持Arm_Linux.Android.PC).E ...
EasyDarwin开源流媒体云平台设计与实现(分布式+负载均衡)
前言早在2013年我就设计了一套架构非常简单的分布式流媒体服务器平台<基于Darwin实现的分布式流媒体直播服务器系统>,当时的考虑如今看来有诸多的细节点没有考虑到:1.CMS是单点部署 ...
EasyDarwin开源流媒体云平台之EasyRMS录播服务器功能设计
需求背景 EasyDarwin开发团队维护EasyDarwin开源流媒体服务器也已经很多年了,之前也陆陆续续尝试过很多种服务端录像的方案,有:在EasyDarwin中直接解析收到的RTP包,重新组包录 ...
EasyDarwin开源流媒体云平台之云台ptz控制设计与实现
本文转自EasyDarwin开源团队成员Alex的博客:http://blog.csdn.net/cai6811376/article/details/51912692 近日,EasyDarwin云平 ...
EasyDarwin开源流媒体云平台VS调试断点提示“还没有为该文档加载任何符号”的解决办法
本文转自EasyDarwin开源团队成员Alex的博客:http://blog.csdn.net/cai6811376/article/details/52063666 近日,我们EasyDarwin ...
EasyDarwin开源流媒体云平台中boost Base64编解码后与源长度不匹配的bug
本文转自EasyDarwin团队Alex的博客:http://blog.csdn.net/cai6811376 EasyDarwin云平台中部分协议使用了Base64编码昨晚报文通信的载体.比如在对摄 ...
开源流媒体云视频平台EasyDarwin中EasyCMS服务是如何进行命令转发和消息路由的
EasyCMS介绍 EasyCMS做为EasyDarwin开源流媒体云平台解决方案的一部分,主要进行的是设备的接入和Session(DeviceSession & ClientSession) ...
EasyDarwin开源流媒体项目
本文转自EasyDarwin CSDN官方博客:http://blog.csdn.net/easydarwin EasyDarwin是由国内开源流媒体团队维护和迭代的一整套开源流媒体视频平台框架,从2 ...

随机推荐

net4：Panel动态添加控件及隐藏，Table动态创建表格
原文发布时间为:2008-07-29 -- 来源于本人的百度文章 [由搬家工具导入] using System;using System.Data;using System.Configuration ...
【MFC】利用单一对话框内的分页技术实现向导功能（转）
原文转自 http://blog.csdn.net/yongh701/article/details/43793151 所谓的向导功能,在win32的程序中常常见于安装程序或者程序内的设置向导,该向导 ...
llinux 定时器转载自 http://blog.chinaunix.net/uid-11848011-id-96374.html
这篇文章主要记录我在试图解决如何尽可能精确地在某个特定的时间间隔执行某项具体任务时的思路历程,并在后期对相关的API进行的归纳和总结,以备参考. 问题引出很多时候,我们会有类似“每隔多长时间执行某项 ...
二、 java中的变量与数据类型及类型转换
标识符:凡是可以自己命名的地方都叫标识符,如:类名.方法名.接口名... 1.标识符命名的规则: 由26个英文字母大小写,0-9,_或$组成,不遵守会报错. 不可以用数字开头. 不能使用关键字和保留字 ...
docker mysql 导入导出数据
导出数据 1.导出mysql单张表结构和数据: docker exec -it my-mysql mysqldump dbname -uroot -p123456 --tables tname > ...
mybatis trim
eg: select * from user <trim prefix="WHERE" prefixoverride="AND |OR"> < ...
洛谷——P2176 [USACO14FEB]路障Roadblock
P2176 [USACO14FEB]路障Roadblock 题目描述每天早晨,FJ从家中穿过农场走到牛棚.农场由 N 块农田组成,农田通过 M 条双向道路连接,每条路有一定长度.FJ 的房子在 1 ...
JD路径配置及myeclipse主题和提示设置
1. JDKAN安装及环境变量配置安装jdk,注意记住安装路径(F:\Java\jdk1.8.0_121 )(个人爱好) 系统变量→新建 JAVA_HOME 变量 . 变量值填写jdk的安装目录(F ...
redis常用命令与使用分析
redis-cli的使用连接服务器 redis-cli -h 127.0.0.1 -p 6392 -a 123456 set操作语法 sadd key [members.......] ...
PHP平均整数红包算法
<?php function RandomMoney( $money,$num ){ $arr = array(); $total_money = 0; $this_money = $money ...

EasyDarwin开源流媒体云平台之语音对讲功能设计与实现

代码与文档

获取更多信息

EasyDarwin开源流媒体云平台之语音对讲功能设计与实现的更多相关文章

随机推荐

热门专题