如何使用OpenCV+MMPEAG打开摄像头，显示的同时推送RTMP流。
注意，设置中：
代码详解：
1、 char* outUrl = "rtmp://localhost/live/livestream";
这个地址，是AMS(Adeobe Media Server)的默认地址。
2、
//注册所有的编解码器
avcodec_register_all();
//注册所有的封装器
av_register_all();
//注册所有网络协议
avformat_network_init();
//打开摄像头
VideoCapture cam;
namedWindow("video");
Mat frame; //像素格式转换上下文
SwsContext* vsc = NULL;
//输出的数据结构
AVFrame* yuv = NULL;
//编码器上下文
AVCodecContext* vc = NULL;
//rtmp flv 封装器
AVFormatContext* ic = NULL;
声明好多变量，是OpenCV & MMPEAG 正常运行所需要的。
3、
try {
/// 1. Open Cam
// 这里默认打开的是摄像头0，并获得摄像头参数
cam.open(0);
if (!cam.isOpened()) {
throw exception("cam open failed");
}
cout << "cam open sucess"<< endl; int inWidth = cam.get(CAP_PROP_FRAME_WIDTH);
int inHeight = cam.get(CAP_PROP_FRAME_HEIGHT);
int fps = cam.get(CAP_PROP_FPS);
if (fps == 0) {
fps = 25;
}
cout << fps<< endl; /// 2. 初始化 SwsContext(转换格式上下文)
vsc = sws_getCachedContext(vsc,
inWidth, inHeight, AV_PIX_FMT_BGR24,
inWidth, inHeight, AV_PIX_FMT_YUV420P,
SWS_BICUBIC,
0, 0, 0
);
if (!vsc) {
throw exception("sws_getCachedContext failed");
} ///3.初始化输出的数据结构
yuv = av_frame_alloc();
yuv->format = AV_PIX_FMT_YUV420P;
yuv->width = inWidth;
yuv->height = inHeight;
yuv->pts = 0;
//分配 YUV 空间
int ret = av_frame_get_buffer(yuv, 32);
if (ret != 0) {
char buf[1024] = { 0 };
av_strerror(ret, buf, sizeof(buf) - 1);
throw exception(buf);
} ///4. 初始化编码器上下文
//a. 找到编码器,这里全部基于MMPEAG
AVCodec* codec = avcodec_find_encoder(AV_CODEC_ID_H264);
if (!codec) {
throw exception("Can't find H.264 encoder");
}
//b. 创建编码器上下文
vc = avcodec_alloc_context3(codec);
if (!vc) {
throw exception("avcodec_alloc_context3 failed");
}
//c. 配置编码器参数
vc->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;
vc->codec_id = codec->id;
vc->thread_count = 8;
vc->bit_rate = 50 * 1024 * 8; //video size(bits) per second: 50kByte
vc->width = inWidth;
vc->height = inHeight; vc->time_base = { 1,fps };//used to calculate pts: pts*time_base = second
vc->framerate = { fps,1 }; vc->gop_size = 50;// for how many frames there is a I frame（关键帧）
vc->max_b_frames = 0;//if these is no B frames, the orders of both decoding and presentation will be the same
vc->pix_fmt = AV_PIX_FMT_YUV420P; //d. 打开编码器上下文（Open encodder context）
ret = avcodec_open2(vc, 0, 0);
if (ret != 0) {
char buf[1024] = { 0 };
av_strerror(ret, buf, sizeof(buf) - 1);
throw exception(buf);
}
cout << "avcodec_open2 successed!"<< endl; ///5. 输出封装器和频流配置
//a. Create context for MUX
ret = avformat_alloc_output_context2(&ic, 0, "flv", outUrl);
if (ret != 0) {
char buf[1024] = { 0 };
av_strerror(ret, buf, sizeof(buf) - 1);
throw exception(buf);
}
//b. Add video stream
AVStream* vs = avformat_new_stream(ic, NULL);
if (!vs) {
throw exception("avformat_new_stream failed");
}
vs->codecpar->codec_tag = 0;
// copy parameter from Encoder to MUX
avcodec_parameters_from_context(vs->codecpar, vc);
av_dump_format(ic, 0, outUrl, 1); ///6. Open rtmp output IO（打开输出IO)
ret = avio_open(&ic->pb, outUrl, AVIO_FLAG_WRITE);
if (ret != 0) {
char buf[1024] = { 0 };
av_strerror(ret, buf, sizeof(buf) - 1);
throw exception(buf);
}
//write mux header
ret = avformat_write_header(ic, NULL); // after this operation the stream's time_base will also be changed, not vc->time_base anymore
if (ret != 0) {
char buf[1024] = { 0 };
av_strerror(ret, buf, sizeof(buf) - 1);
throw exception(buf);
} AVPacket pack;
memset(&pack, 0, sizeof(pack));
int vpts = 0; //住循环，读入->显示->转码
for (;;) {
///从cam中读取书
if (!cam.grab()) {
continue;
}
if (!cam.retrieve(frame)) {
continue;
}
imshow("video", frame);
waitKey(1); /// convert RGB to YUV
// Input data structure--RGB
uint8_t* indata[AV_NUM_DATA_POINTERS] = { 0 };//srcStride
indata[0] = frame.data;
int inlinesize[AV_NUM_DATA_POINTERS] = { 0 };//srcSlice
//一行（宽）数据的字节数
inlinesize[0] = frame.cols * frame.elemSize(); int h = sws_scale(vsc, indata, inlinesize, 0, frame.rows,
yuv->data, yuv->linesize);
if (h <= 0) {
continue;
} ///Mux YUV to flv h.264
yuv->pts = vpts;
vpts++;
ret = avcodec_send_frame(vc, yuv);
if (ret != 0) {
continue;
}
ret = avcodec_receive_packet(vc, &pack);
if (ret != 0 || pack.size > 0) {
cout << '*' <<pack.size<< flush;
}
else {
continue;
} ///推流
pack.pts = av_rescale_q(pack.pts, vc->time_base, vs->time_base);
pack.dts = av_rescale_q(pack.dts, vc->time_base, vs->time_base);
ret = av_interleaved_write_frame(ic, &pack);
if (ret == 0) {
cout << '#'<< flush;
} }
}
catch (exception &ex) { if (cam.isOpened())
cam.release();
if (vsc) {
sws_freeContext(vsc);
vsc = NULL;
}
if (vc) {
avio_closep(&ic->pb);
avcodec_free_context(&vc);
}
cerr << ex.what() << endl;
}
getchar();
在一段代码中解决所有问题，可能不是一个很好的习惯，我需要做一些改变。
这里对代码进行了封装，使得可以简化成目前情况：
#include <opencv2/core.hpp>
#include <opencv2/imgcodecs.hpp>
#include <opencv2/highgui.hpp>
#include <iostream>
#include "XMediaEncode.h"
#include "XRtmp.h"
extern "C"
{
#include <libswscale/swscale.h>
#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
}
using namespace cv;
using namespace std; //初始化像素格式上下文
void test004()
{
//相机的rtsp url
char *inUrl = "rtsp://admin:@192.168.10.30:554/ch0_0.264";
VideoCapture cam;
namedWindow("video"); //像素格式转换上下文
SwsContext *vsc = NULL; try
{
////////////////////////////////////////////////////////////////
/// 1 使用opencv打开rtsp相机
cam.open(inUrl);
if (!cam.isOpened())
{
throw exception("cam open failed!");
}
cout << inUrl << " cam open success" << endl;
int inWidth = (int)cam.get(CAP_PROP_FRAME_WIDTH);
int inHeight = (int)cam.get(CAP_PROP_FRAME_HEIGHT);
int fps = (int)cam.get(CAP_PROP_FPS); ///2 初始化格式转换上下文
vsc = sws_getCachedContext(vsc,
inWidth, inHeight, AV_PIX_FMT_BGR24, //源宽、高、像素格式
inWidth, inHeight, AV_PIX_FMT_YUV420P,//目标宽、高、像素格式
SWS_BICUBIC, // 尺寸变化使用算法
0, 0, 0
);
if (!vsc)
{
throw exception("sws_getCachedContext failed!");
}
Mat frame;
for (;;)
{
///读取rtsp视频帧，解码视频帧
if (!cam.grab())
{
continue;
}
///yuv转换为rgb
if (!cam.retrieve(frame))
{
continue;
}
imshow("video", frame);
waitKey(1);
}
}
catch (exception &ex)
{
if (cam.isOpened())
cam.release();
if (vsc)
{
sws_freeContext(vsc);
vsc = NULL;
}
cerr << ex.what() << endl;
}
getchar();
} //rtsp数据源到rtmp推流 要重点复习
void test005()
{
cout << "void test005()!" << endl;
//相机的rtsp url
char *inUrl = "rtsp://admin:@192.168.10.30:554/ch0_0.264";
//nginx-rtmp 直播服务器rtmp推流URL
char *outUrl = "rtmp://192.168.10.181/live"; //注册所有的编解码器
avcodec_register_all(); //注册所有的封装器
av_register_all(); //注册所有网络协议
avformat_network_init(); VideoCapture cam;
Mat frame;
namedWindow("video"); //像素格式转换上下文
SwsContext *vsc = NULL; //输出的数据结构
AVFrame *yuv = NULL; //编码器上下文
AVCodecContext *vc = NULL; //rtmp flv 封装器
AVFormatContext *ic = NULL; try
{ ////////////////////////////////////////////////////////////////
/// 1 使用opencv打开rtsp相机
cam.open(inUrl);
if (!cam.isOpened())
{
throw exception("cam open failed!");
}
cout << inUrl << " cam open success" << endl;
int inWidth = (int)cam.get(CAP_PROP_FRAME_WIDTH);
int inHeight = (int)cam.get(CAP_PROP_FRAME_HEIGHT);
int fps = (int)cam.get(CAP_PROP_FPS); ///2 初始化格式转换上下文
vsc = sws_getCachedContext(vsc,
inWidth, inHeight, AV_PIX_FMT_BGR24, //源宽、高、像素格式
inWidth, inHeight, AV_PIX_FMT_YUV420P,//目标宽、高、像素格式
SWS_BICUBIC, // 尺寸变化使用算法
0, 0, 0
);
if (!vsc)
{
throw exception("sws_getCachedContext failed!");
} ///3 初始化输出的数据结构
yuv = av_frame_alloc();
yuv->format = AV_PIX_FMT_YUV420P;
yuv->width = inWidth;
yuv->height = inHeight;
yuv->pts = 0;
//分配yuv空间
int ret = av_frame_get_buffer(yuv, 32);
if (ret != 0)
{
char buf[1024] = { 0 };
av_strerror(ret, buf, sizeof(buf) - 1);
throw exception(buf);
} ///4 初始化编码上下文，分为以下三步
//a 找到编码器
AVCodec *codec = avcodec_find_encoder(AV_CODEC_ID_H264);
if (!codec)
{
throw exception("Can`t find h264 encoder!");
}
//b 创建编码器上下文
vc = avcodec_alloc_context3(codec);
if (!vc)
{
throw exception("avcodec_alloc_context3 failed!");
}
//c 配置编码器参数
vc->flags |= AV_CODEC_FLAG_GLOBAL_HEADER; //全局参数
vc->codec_id = codec->id;
vc->thread_count = 8; vc->bit_rate = 50 * 1024 * 8;//压缩后每秒视频的bit位大小 50kB
vc->width = inWidth;
vc->height = inHeight;
vc->time_base = { 1,fps };
vc->framerate = { fps,1 }; //画面组的大小，多少帧一个关键帧
vc->gop_size = 50;
vc->max_b_frames = 0;
vc->pix_fmt = AV_PIX_FMT_YUV420P;
//d 打开编码器上下文
ret = avcodec_open2(vc, 0, 0); if (ret != 0)
{
char buf[1024] = { 0 };
av_strerror(ret, buf, sizeof(buf) - 1);
throw exception(buf);
}
cout << "avcodec_open2 success!" << endl; ///5 输出封装器和视频流配置
//a 创建输出封装器上下文
ret = avformat_alloc_output_context2(&ic, 0, "flv", outUrl);
if (ret != 0)
{
char buf[1024] = { 0 };
av_strerror(ret, buf, sizeof(buf) - 1);
throw exception(buf);
} //b 添加视频流
AVStream *vs = avformat_new_stream(ic, NULL);
if (!vs)
{
throw exception("avformat_new_stream failed");
}
vs->codecpar->codec_tag = 0;
//从编码器复制参数
avcodec_parameters_from_context(vs->codecpar, vc);
av_dump_format(ic, 0, outUrl, 1); ///打开rtmp 的网络输出IO
ret = avio_open(&ic->pb, outUrl, AVIO_FLAG_WRITE);
if (ret != 0)
{
char buf[1024] = { 0 };
av_strerror(ret, buf, sizeof(buf) - 1);
throw exception(buf);
} //写入封装头
ret = avformat_write_header(ic, NULL);
if (ret != 0)
{
char buf[1024] = { 0 };
av_strerror(ret, buf, sizeof(buf) - 1);
throw exception(buf);
} AVPacket pack;
memset(&pack, 0, sizeof(pack));
int vpts = 0; //死循环
for (;;)
{
///读取rtsp视频帧，解码视频帧
if (!cam.grab())
{
continue;
}
///yuv转换为rgb
if (!cam.retrieve(frame))
{
continue;
}
imshow("video", frame);
waitKey(1); ///rgb to yuv
//输入的数据结构
uint8_t *indata[AV_NUM_DATA_POINTERS] = { 0 };
//indata[0] bgrbgrbgr
//plane indata[0] bbbbb indata[1]ggggg indata[2]rrrrr
indata[0] = frame.data;
int insize[AV_NUM_DATA_POINTERS] = { 0 };
//一行（宽）数据的字节数
insize[0] = frame.cols * frame.elemSize();
int h = sws_scale(vsc, indata, insize, 0, frame.rows, //源数据
yuv->data, yuv->linesize);
if (h <= 0)
{
continue;
}
cout << h << " " << flush; ///h264编码
yuv->pts = vpts;
vpts++;
ret = avcodec_send_frame(vc, yuv);
if (ret != 0)
continue; ret = avcodec_receive_packet(vc, &pack);
if (ret != 0 || pack.size > 0)
{
cout << "*" << pack.size << flush;
}
else
{
continue;
}
//推流
pack.pts = av_rescale_q(pack.pts, vc->time_base, vs->time_base);
pack.dts = av_rescale_q(pack.dts, vc->time_base, vs->time_base);
pack.duration = av_rescale_q(pack.duration, vc->time_base, vs->time_base);
ret = av_interleaved_write_frame(ic, &pack);
if (ret == 0)
{
cout << "#" << flush;
}
} }
catch (exception &ex)
{
if (cam.isOpened())
cam.release();
if (vsc)
{
sws_freeContext(vsc);
vsc = NULL;
} if (vc)
{
avio_closep(&ic->pb);
avcodec_free_context(&vc);
} cerr << ex.what() << endl;
}
getchar();
} //opencv_rtsp_to_rtmp_class封装重构代码 要重点复习
void test006()
{
cout << "void test006()!" << endl;
//相机的rtsp url
char *inUrl = "rtsp://admin:@192.168.10.30:554/ch0_0.264";
//nginx-rtmp 直播服务器rtmp推流URL
char *outUrl = "rtmp://192.168.10.181/live"; //编码器和像素格式转换
XMediaEncode *me = XMediaEncode::Get(0); //封装和推流对象
XRtmp *xr = XRtmp::Get(0); VideoCapture cam;
Mat frame;
namedWindow("video"); int ret = 0;
try
{ ////////////////////////////////////////////////////////////////
/// 1 使用opencv打开rtsp相机
cam.open(inUrl);
if (!cam.isOpened())
{
throw exception("cam open failed!");
}
cout << inUrl << " cam open success" << endl;
int inWidth = (int)cam.get(CAP_PROP_FRAME_WIDTH);
int inHeight = (int)cam.get(CAP_PROP_FRAME_HEIGHT);
int fps = (int)cam.get(CAP_PROP_FPS); ///2 初始化格式转换上下文
///3 初始化输出的数据结构
me->inWidth = inWidth;
me->inHeight = inHeight;
me->outWidth = inWidth;
me->outHeight = inHeight;
me->InitScale(); ///4 初始化编码上下文
//a 找到编码器
if (!me->InitVideoCodec())
{
throw exception("InitVideoCodec failed!");
} ///5 输出封装器和视频流配置
xr->Init(outUrl); //添加视频流
xr->AddStream(me->vc);
xr->SendHead(); for (;;)
{
///读取rtsp视频帧，解码视频帧
if (!cam.grab())
{
continue;
}
///yuv转换为rgb
if (!cam.retrieve(frame))
{
continue;
}
//imshow("video", frame);
//waitKey(1); ///rgb to yuv
me->inPixSize = frame.elemSize();
AVFrame *yuv = me->RGBToYUV((char*)frame.data);
if (!yuv) continue; ///h264编码
AVPacket *pack = me->EncodeVideo(yuv);
if (!pack) continue; xr->SendFrame(pack); } }
catch (exception &ex)
{
if (cam.isOpened())
cam.release();
cerr << ex.what() << endl;
}
getchar();
} int main(int argc, char *argv[])
{
//test000();
//test001();
//test002();
//test003();
//test004();
//test005();
test006();
return 0;
}
具体操作：
——————————————————————————————————————
选择摄像头并且打开摄像头；
vlc打开网络串流
输入：
rtmp://localhost/live/livestream
串流摄像头内容：
参考资料《利用ffmpeg和opencv进行视频的解码播放》
文中代码：
https://files.cnblogs.com/files/blogs/758212/opencv_rtsp2rtmp-master.rar
https://files.cnblogs.com/files/blogs/758212/main.js
如何使用OpenCV+MMPEAG打开摄像头，显示的同时推送RTMP流。的更多相关文章
- iOS8自定义推送显示按钮及推送优化
http://www.jianshu.com/p/803bfaae989e iOS8自定义推送显示按钮及推送优化 字数1435 阅读473 评论0 喜欢2 导语 在iOS8中,推送消息不再只是简单地点 ...
- JavaCV 采集摄像头和麦克风数据推送到流媒体服务器
越来越觉得放弃JavaCV FFmpeg native API,直接使用JavaCV二次封装的API开发是很明智的选择,使用JavaCV二次封装的API开发避免了各种内存操作不当引起的crash. 上 ...
- opencv学习---打开摄像头检测个人头像
opencv中具有检测人体各部分的级联分类器,在opencv文件夹里面的sources/data/haarcascades里面. 这里要选择的是能够检测人体头像的还有检测眼睛的级联分类器的文件. 它们 ...
- 基于OpenCV 的美颜相机推送直播流
程序流程: 1.图像采集 先从opencv(2.4.10版本)采集回来摄像头的图像,是一帧一帧的 每一帧图像是一个矩阵,opencv中的mat 数据结构. 2.人脸的美化 人脸美化,我们用的皮肤检测, ...
- Android实现点击通知栏后，先启动应用再打开目标Activity ，极光推送等推送的也可以参考一下（转）
我因为项目中集成了极光推送,推送的通知栏点开需要确定进入哪个界面就参考了这边文章,感谢作者的无私. 标签: 情况简述 在开发Android app的过程中,遇到这样一个需求:app中启动一个Servi ...
- C# ASP.NET MVC 之 SignalR 学习 实时数据推送显示 配合 Echarts 推送实时图表
本文主要是我在刚开始学习 SignalR 的技术总结,网上找的学习方法和例子大多只是翻译了官方给的一个例子,并没有给出其他一些经典情况的示例,所以才有了本文总结,我在实现推送简单的数据后,就想到了如何 ...
- uniapp云打包之后华为手机推送角标不显示（有推送没角标）
小米手机上有角标,华为和OPPO没有角标 解决方法: 华为手机添加权限(可通过反编译或者离线打包添加) < uses - permission android:name="com.hu ...
- 如何使用 OpenCV 打开摄像头获取图像数据？
OpenCV 如何打开摄像头获取图像数据? 代码运行环境:Qt 5.9.1 msvc2015 32bit OpenCV 3.3.0 #include "include/opencv2/ope ...
- EasyPusher进行Android UVC外接摄像头直播推送实现方法
最近EasyPusher针对UVC摄像头做了适配.我们结合了UVCCamera与EasyPusher,支持将UVC摄像头的视频推送到RTSP服务器上.在此特别感谢UVCCamera这个牛逼的项目! 来 ...
- OpenCV Open Camera 打开摄像头
这是一个用OpenCV2.4.10打开摄像头的一个例子,参见代码如下: #include <iostream> #include <stdio.h> #include < ...
随机推荐
- 【前端必会】eslint搞起
介绍 eslint进行代码审查,统一代码风格,预防潜在BUG 官网 https://eslint.bootcss.com/docs/user-guide/getting-started 安装 init ...
- Java开发学习(三十六)----SpringBoot三种配置文件解析
一. 配置文件格式 我们现在启动服务器默认的端口号是 8080,访问路径可以书写为 http://localhost:8080/books/1 在线上环境我们还是希望将端口号改为 80,这样在访问的时 ...
- 企业信息化建PLM系统、ERP系统、MES系统是单个逐步建设好，还是同时上比较好？
企业信息化建PLM系统.ERP系统.MES系统肯定是单个逐步建设好啊,不仅仅是各个系统单独建设,系统内各模块的实施也应该先后逐步推进,切不可想着一口吃个大胖子,一股脑的全上,求全求快是很多系统实施失败 ...
- NSIS使用SHFileOperation函数移动文件夹
SHFileOperation是一种外壳函数,用它可以实现各种文件操作,如文件的拷贝.删除.移动等,该函数使用起来非常简单,它只有一个指向SHFILEOPSTRUCT结构的参数.使用SHFileOpe ...
- JAVA员工名字 年龄 工资 工种
如题: 下面是我个人的写法 输出部分使用了 格式化输出 有兴趣的朋友可以了解一下: 解决的思路大致为: 创建一个对象数组--> 数组下标为0的数组中张三这个变量对应 String name; 2 ...
- JDK 8之前日期和时间的API
JDK 8之前日期和时间的API(1) System类中的currentTimeMillis():返回当前时间与1970年1月1日0时0分0秒之间以毫秒为单位的时间差.称为时间戳. java.util ...
- MasaFramework -- 缓存入门与设计
概念 什么是缓存,在项目中,为了提高数据的读取速度,我们会对不经常变更但访问频繁的数据做缓存处理,我们常用的缓存有: 本地缓存 内存缓存:IMemoryCache 分布式缓存 Redis: Stack ...
- 2.签名&初始化&提交
Git设置签名 签名的作用是区分不同操作者的身份,用户的签名信息在每一个版本的提交信息中能够看到, 以此确认本次提交是谁做的,git首次安装必须设置用户签名,否则无法提交代码 这里设置的用户签名和 ...
- web安全学习(sql注入1)
web安全学习(sql注入1) 一.简介 sql语句就是数据库语句,而sql注入就是用户将自己构造的恶意sql语句提交,然后服务器执行提交的危险语句.sql注入可能造成信息泄露以及服务器被控制等危害. ...
- JIRA操作之JQL
搜索功能 Jira的搜索功能非常强大,有专用的搜索语言JQL(Jira Query Language).Jira的Python库是基于JQL语法搜索的,返回的是搜索到的问题列表. jira.searc ...