ffmpeg实时编码解码部分代码
程序分为编码端和解码端,两端通过tcp socket通信,编码端一边编码一边将编码后的数据发送给解码端。解码端一边接收数据一边将解码得到的帧显示出来。
代码中的编码端编码的是实时屏幕截图。
代码调用了Qt SDK。
#ifndef MAPTHREAD_H
#define MAPTHREAD_H #include <QThread>
#include <QTcpSocket>
#include <QTimer>
#include <QColor>
#include <QImage>
#include <QPixmap>
#include <QTime>
#include <QDateTime> #include <stdio.h> struct AVFrame;
struct AVPacket;
struct AVCodec;
struct AVCodecContext; class MapThread : public QThread
{
Q_OBJECT private:
#ifdef DEBUG
FILE* log;
QTime* time;
QDateTime dt;
#endif AVFrame *frame;
AVPacket* pkt;
AVCodec *codec;
AVCodecContext *c;
int i, ret, x, y, got_output; int dest_width; //client指定的宽度
int dest_height; //client指定的高度
int send_width; //发送图像的宽度
int send_height; //发送图像的高度
int scaleby; //缩放是根据目的图像的高度还是宽度 uchar* sent_img_buf; //buffer of the image that have been sent
uchar* curt_img_buf; //buffer of the current image
uchar* send_data_buf;
uchar cmd_buf[4];
int cmd_buf_fill; bool started;
bool inited; int interval; //帧间时间间隔
QTcpSocket* mapSocket;
QTimer* timer; public:
MapThread(QTcpSocket* socket, QObject *parent = 0);
~MapThread(); const static int SCALE_BY_WIDTH = 1;
const static int SCALE_BY_HEIGHT = 2; void setSendInterval(int i); signals: public slots:
void sendFrame();
void newData();
void newCommand();
void quit(); protected:
void run(); }; #endif // MAPTHREAD_H
void MapThread::sendFrame()
{
if(!started)
return; if(!inited)
{
avcodec_register_all(); c= NULL;
pkt = new AVPacket;
i = 0; #ifdef DEBUG
fprintf(log, "Encode video file %s\n", "test.mpg");
fflush(log);
#endif
/* find the mpeg1 video encoder */
codec = avcodec_find_encoder(AV_CODEC_ID_MPEG1VIDEO); if (codec == 0)
{
#ifdef DEBUG
fprintf(log, "Codec not found\n");
fflush(log);
#endif
exit(1);
} c = avcodec_alloc_context3(codec);
if (!c)
{
#ifdef DEBUG
fprintf(log, "Could not allocate video codec context\n");
fflush(log);
#endif
exit(1);
}
//c->bit_rate = 400000;
c->width = dest_width;
c->height = dest_height; c->time_base = (AVRational){1,25};
c->gop_size = 100;
c->max_b_frames = 0;
c->delay = 0;
c->pix_fmt = AV_PIX_FMT_YUV420P; //av_opt_set(c->priv_data, "preset", "slow", 0); av_opt_set(c->priv_data, "preset", "superfast", 0);
av_opt_set(c->priv_data, "tune", "zerolatency", 0); int re = avcodec_open2(c, codec, NULL);
av_opt_set(c->priv_data, "tune", "zerolatency", 0);
if (re < 0) {
#ifdef DEBUG
fprintf(log, "Could not open codec:%d\n", re);
fflush(log);
#endif
exit(1);
} frame = av_frame_alloc();
if (!frame) {
#ifdef DEBUG
fprintf(log, "Could not allocate video frame\n");
fflush(log);
#endif
exit(1);
}
frame->format = c->pix_fmt;
frame->width = c->width;
frame->height = c->height; ret = av_image_alloc(frame->data, frame->linesize, c->width, c->height, c->pix_fmt, 32);
if (ret < 0) {
#ifdef DEBUG
fprintf(log, "Could not allocate raw picture buffer\n");
fflush(log);
#endif
exit(1);
}
inited = true;
} if(mapSocket == 0)
{
#ifdef DEBUG
qDebug()<<"null socket"<<endl;
#endif
return;
}
else if(mapSocket->isOpen() == false)
{
return;
}
else if(mapSocket->isWritable() == false)
{
return;
}
#ifdef DEBUG
fprintf(log, "start cap:%d\n", QDateTime::currentDateTime().msecsTo(dt));
#endif
QImage image = Interface::grapScreen().toImage();
image = image.scaled(QSize(dest_width, dest_height)); #ifdef DEBUG
fprintf(log, "end cap:%d\n", QDateTime::currentDateTime().msecsTo(dt));
//fprintf(log, "cap:%d\n", time->elapsed());
fflush(log);
#endif av_init_packet(pkt);
pkt->data = NULL; // packet data will be allocated by the encoder
pkt->size = 1000000; for (int h = 0; h < c->height; h++)
{
for (int w = 0; w < c->width; w++)
{
QRgb rgb = image.pixel(w, h); int r = qRed(rgb);
int g = qGreen(rgb);
int b = qBlue(rgb); int dy = ((66*r + 129*g + 25*b) >> 8) + 16;
int du = ((-38*r + -74*g + 112*b) >> 8) + 128;
int dv = ((112*r + -94*g + -18*b) >> 8) + 128; uchar yy = (uchar)dy;
uchar uu = (uchar)du;
uchar vv = (uchar)dv; frame->data[0][h * frame->linesize[0] + w] = yy; if(h % 2 == 0 && w % 2 == 0)
{
frame->data[1][h/2 * (frame->linesize[1]) + w/2] = uu;
frame->data[2][h/2 * (frame->linesize[2]) + w/2] = vv;
} }
} frame->pts = i; ret = avcodec_encode_video2(c, pkt, frame, &got_output); if (ret < 0)
{
#ifdef DEBUG
fprintf(log, "Error encoding frame\n");
fflush(log);
#endif
exit(1);
} if (got_output)
{
#ifdef DEBUG
fprintf(log, "start send:%d\n", QDateTime::currentDateTime().msecsTo(dt));
#endif
int ss = pkt->size;
#ifdef DEBUG
qDebug()<<"ss:"<<ss;
fprintf(log, "size:%d\n", ss);
#endif
writeAndBlock(mapSocket, pkt->data, ss);
mapSocket->flush();
#ifdef DEBUG
fprintf(log, "end send:%d\n", QDateTime::currentDateTime().msecsTo(dt));
#endif av_free_packet(pkt);
} i ++;
}
解码端:
#ifndef MAPTHREAD_H
#define MAPTHREAD_H #include <QThread>
#include <QTcpSocket>
#include <QDebug>
#include <QImage>
#include <QTime> #include "version.h"
struct AVFrame;
struct AVPacket;
struct AVCodec;
struct AVCodecContext; #define INBUF_SIZE 4096000
#define AUDIO_INBUF_SIZE 20480
#define AUDIO_REFILL_THRESH 4096
#define QIMAGE_BUFFER_SIZE 12000000 class MapThread : public QThread
{
Q_OBJECT private:
QTime* time;
int newF; uchar* img_buf;
QTcpSocket* mapSocket;
QString address;
int port;
bool socketConnected; int request_width;
int request_height; uchar* recv_buf;
uchar* frame_buf;
int frame_buf_fill;
int frame_bytes;
uchar cmd_buf[8];
int cmd_buf_fill; bool cmd_got;
bool frame_size_setted; bool cmd_parsed;
int subX;
int subY;
int subWidth;
int subHeight;
int subSize;
int subFill; bool inited;
AVFrame *frame;
AVPacket* pkt;
AVCodec *codec;
AVCodecContext *c;
int i, ret, x, y, got_output; //QImage* image; uint8_t* inbuf;
#ifdef DEBUG
FILE* log;
int readlen;
#endif int decode_write_frame(AVCodecContext *avctx, AVFrame *frame, AVPacket *pkt); public:
int received_frame_width;
int received_frame_height;
QImage* image; MapThread(QString add, int p, int w, int h, QObject *parent = 0);
void sendRequestSize(int width, int height);
void getSubWindow();
void parseCommand();
void updateFrame(); signals:
void frameGot(QImage*);
void frameSizeChanged(int, int); public slots:
void newData();
void hostConnected(); protected:
void run(); }; #endif // MAPTHREAD_H
int MapThread::decode_write_frame(AVCodecContext *avctx, AVFrame *frame, AVPacket *pkt)
{
int len, got_frame;
len = avcodec_decode_video2(avctx, frame, &got_frame, pkt); if (got_frame)
{
#ifdef DEBUG
fprintf(tlog, "get frame:%d\n", QDateTime::currentDateTime().msecsTo(dt));
//fprintf(tlog, "got frame:%d\n", ttime->elapsed());
#endif if(image == 0)
image = new QImage(img_buf, avctx->width, avctx->height, QImage::Format_RGB888); received_frame_width = avctx->width;
received_frame_height = avctx->height; for(int h = 0; h < avctx->height; h++)
{
for(int w = 0; w < avctx->width; w ++)
{
int hh = h >> 1;
int ww = w >> 1;
int Y = frame->data[0][h * frame->linesize[0] + w];
int U = frame->data[1][hh * (frame->linesize[1]) + ww];
int V = frame->data[2][hh * (frame->linesize[2]) + ww]; int C = Y - 16;
int D = U - 128;
int E = V - 128; int r = 298 * C + 409 * E + 128;
int g = 298 * C - 100 * D - 208 * E + 128;
int b = 298 * C + 516 * D + 128; r = qBound(0, r >> 8, 255);
g = qBound(0, g >> 8, 255);
b = qBound(0, b >> 8, 255); QRgb rgb = qRgb(r, g, b);
image->setPixel(QPoint(w, h), rgb);
}
}
#ifdef DEBUG
fprintf(tlog, "emit frame:%d\n", QDateTime::currentDateTime().msecsTo(dt));
//fprintf(tlog, "emit frame:%d\n", ttime->elapsed());
#endif
emit frameGot(image);
}
if (pkt->data) {
pkt->size -= len;
pkt->data += len;
} return 0;
}
void MapThread::newData()
{
if(!inited)
{
avcodec_register_all(); pkt = new AVPacket;
av_init_packet(pkt); memset(inbuf + INBUF_SIZE, 0, FF_INPUT_BUFFER_PADDING_SIZE); codec = avcodec_find_decoder(AV_CODEC_ID_MPEG1VIDEO);
if (!codec)
{
#ifdef DEBUG
fprintf(log, "Codec not found\n");
fflush(log);
#endif
exit(1);
}
c = avcodec_alloc_context3(codec); if (!c) {
#ifdef DEBUG
fprintf(log, "Could not allocate video codec context\n");
fflush(log);
#endif
exit(1);
} av_opt_set(c->priv_data, "preset", "superfast", 0);
av_opt_set(c->priv_data, "tune", "zerolatency", 0); c->delay = 0; if(codec->capabilities&CODEC_CAP_TRUNCATED)
c->flags|= CODEC_FLAG_TRUNCATED;
if (avcodec_open2(c, codec, NULL) < 0) {
#ifdef DEBUG
fprintf(log, "Could not open codec\n");
fflush(log);
#endif
exit(1);
} frame = av_frame_alloc();
if (!frame) {
#ifdef DEBUG
fprintf(log, "Could not allocate video frame\n");
fflush(log);
#endif
exit(1);
} inited = true;
}
while(true)
{
int nread = mapSocket->read((char*)inbuf, INBUF_SIZE);
#ifdef DEBUG
readlen += nread;
fprintf(tlog, "recv time:%d\n", QDateTime::currentDateTime().msecsTo(dt));
fprintf(tlog, "recv all:%d\n", readlen);
fflush(tlog);
#endif if(nread <= 0)
break; av_init_packet(pkt);
pkt->size = nread;
pkt->data = inbuf;
while (pkt->size > 0)
{
if (decode_write_frame(c, frame, pkt) < 0)
exit(1);
}
av_free_packet(pkt);
}
}
ffmpeg实时编码解码部分代码的更多相关文章
- python基础3之文件操作、字符编码解码、函数介绍
内容概要: 一.文件操作 二.字符编码解码 三.函数介绍 一.文件操作 文件操作流程: 打开文件,得到文件句柄并赋值给一个变量 通过句柄对文件进行操作 关闭文件 基本操作: #/usr/bin/env ...
- 工具系列 | VScode VS Live Share 实时编码分享(和你的小伙伴一起写代码吧)
Visual Studio Live Share能干啥? 分享任何语言,任何应用程序 无论您正在构建什么类型的应用程序,您正在编写什么语言,或者您的操作系统如何:在您需要协作时,Live Share会 ...
- ffmpeg架构和解码流程分析
转 一,ffmpeg架构 1. 简介 FFmpeg是一个集录制.转换.音/视频编码解码功能为一体的完整的开源解决方案.FFmpeg的 开发是基于Linux操作系统,但是可以在大多数操作系统中编译和使用 ...
- FFmpeg源代码结构图 - 解码
===================================================== FFmpeg的库函数源代码分析文章列表: [架构图] FFmpeg源代码结构图 - 解码 F ...
- ffmpeg nvenc编码
花时间研究了一些ffmpeg的nvenc,本来想我已经有了cuvid,然后又搞出来了nvenc,应该可以做个全套的英伟达的转码了,没想到ffmpeg官网下载的动态库没有cuvid,windows上编译 ...
- ffmpeg:编解码过程,基本用法
1 术语: 什么是影片?其实就是一组(很多张)图片,时间间隔很小的连续展示出来,人们就觉得画面中的人物在动,这就是影片.那电影的实质就是N多张图片的集合.那 每张图片和帧又有什么关系呢?事实上,如果 ...
- ffmpeg H264 编解码配置
ffmpeg H264编解码前面有文章介绍下,本文主要介绍一些参数配置. 编码: int InitEncoderCodec( int iWidth, int iHeight) { AVCodec * ...
- 视频编解码的理论和实践2:Ffmpeg视频编解码
近几年,视频编解码技术在理论及应用方面都取得了重大的进展,越来越多的人想要了解编解码技术.因此,网易云信研发工程师为大家进行了归纳梳理,从理论及实践两个方面简单介绍视频编解码技术. 相关阅读推荐 &l ...
- 【视频开发】【CUDA开发】ffmpeg nvenc编码
花时间研究了一些ffmpeg的nvenc,本来想我已经有了cuvid,然后又搞出来了nvenc,应该可以做个全套的英伟达的转码了,没想到ffmpeg官网下载的动态库没有cuvid,windows上编译 ...
随机推荐
- mysqldump指令说明
3种形式mysqldump [OPTIONS] database [tables]mysqldump [OPTIONS] -B | --databases [OPTIONS] DB1 [DB2 DB3 ...
- Linux基础学习-使用PXE+Kickstart无人值守安装服务
无人值守安装系统 PXE(Preboot eXecute Environment,预启动执行环境)是由Intel公司开发的技术,可以让计算机通过网络来启动操作系统(前提是计算机上安装的网卡支持PXE技 ...
- python爬虫(爬取视频)
爬虫爬视频 爬取步骤 第一步:获取视频所在的网页 第二步:F12中找到视频真正所在的链接 第三步:获取链接并转换成机械语言 第四部:保存 保存步骤代码 import re import request ...
- tensorboard以时间命名每一个文件夹
tensorboard 有一个良好的命名习惯以时间命名每一个文件夹,例如**20190523_081232** ''' from datetiome import datetime dir = os. ...
- 我的Python分析成长之路10
matplot数据可视化基础 制作提供信息的可视化(有时称作绘图)是数据分析中最重要任务之一. 1.图片(画布)与子图 plt.figure :创建一张空白的图片,可以指定图片的大小.像素. figu ...
- 解决windows管理员已阻止你运行此应用问题
按WIN+R键,打开“运行”,然后输入“gpedit.msc",就是打开组策略,这个在控制面板中也可以打开. 在组策略里找到“计算机配置”-“Windows设置”-“安全设置”-“本地策略” ...
- python中os模块讲解
本文主要介绍一些os模块常用的方法: 先看下我的文件目录结构 D:\LearnTool\pycode\part1 在此目录下的文件如下: abcd.py demo1.1.py demo1.2.py z ...
- PAT Basic 1037
1037 在霍格沃茨找零钱 如果你是哈利·波特迷,你会知道魔法世界有它自己的货币系统 —— 就如海格告诉哈利的:“十七个银西可(Sickle)兑一个加隆(Galleon),二十九个纳特(Knut)兑一 ...
- Spring注解@Component、@Repository、@Service、@Controller
@Service用于标注业务层组件 @Controller用于标注控制层组件(如struts中的action) @Repository用于标注数据访问组件,即DAO组件 @Component泛指组件, ...
- linux下连接到远程主机,用图像界面(想在远程服务器上用cmake)
1. 需要通过SSH -X username@ip登陆服务器后,再用图形界面,比如用cmake 2.直接用 SSH username@ip命令登陆服务器后,不能用cmake