1. 从一路 RTSP 到一份可回放录像:Qt+FFmpeg 工程里最容易被低估的二次开发
很多人把 Qt+FFmpeg 的 RTSP 拉流工程跑通,看到窗口里出画面就以为完事了,真正接进项目才发现还差录像。我手头这套工程最早也只做解码和渲染,后来要加第二路流、要做录像,问题一下子从“能不能播”变成“能不能稳定地留下来”。录像这条线上,最省 CPU 的做法不是把解出来的帧重新编码,而是把 RTSP 收到的原始 AVPacket 直接写进 MPEG-TS 文件。这一篇就围绕这个做法,讲清楚它适合谁、怎么接、参数怎么设,以及我踩过的那些坑。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 直写 packet 还是解码重编码:FFmpeg 录像路线的取舍
2.1 直写 packet 省掉的是哪一段 CPU
RTSP 拉流进来以后,解码器拿到的是一包一包的压缩数据,也就是 AVPacket。渲染窗口要的是 YUV/RGB 帧,所以必须走解码;但录像要的是“把原始压缩数据按容器格式存下来”,这一步不需要还原成像素。直写 packet 的意思是:av_read_frame 拿到什么就写什么,中间不经过 avcodec_send_packet 和 avcodec_receive_frame,也不经过 swscale 转格式。省掉的是解码和像素格式转换这两段最吃 CPU 的活,工程里直观的感受是:同样一路 1080p 流,解码加渲染已经占掉不少核,录像再走一遍“解码→编码”,风扇声立刻起来;改成直写以后,录像线程的占用主要落在磁盘 IO 上。
这条路线还有一个隐形好处:画质不变。解码再编码是有损的二次压缩,码率、GOP、编码器参数都要重新调,调不好就是“录下来的比看到的糊”。直写 packet 相当于原样搬运,设备侧给什么码流,文件里就是什么码流。对于只需要留证、回看、做算法离线验证的场景,这一点比省 CPU 更值钱。
但直写 packet 有前提:输入和输出得是同一种编码格式。RTSP 里常见的是 H.264 或 H.265,MPEG-TS 都能封,所以大多数监控、IPC、推流场景可以直接用。如果设备侧给的是私有码流,或者需要在录像里叠加时间戳水印、做画面裁剪,那就不是直写能解决的了,必须回到解码重编码。选型时先确认编码格式,再谈省不省 CPU。
2.2 MPEG-TS 的代价:文件不能随机 seek
MPEG-TS 是为流式传输设计的容器,优点是对网络丢包和截断比较宽容,写入时不需要回头改索引,所以特别适合“一直录、随时可能断电”的持续录像。代价也很直接:文件里没有完整的索引表,播放器拖动进度条时只能靠猜,拖到某个位置要么卡住,要么从头重新解析。我最早拿它做片段回放,播放器一拖就转圈,用户以为文件坏了,其实格式本身就不擅长这件事。
要精确到秒的回放,只有两条路。一条是“解码→编码”写成 MP4,MP4 有 moov 索引,播放器可以正常 seek,但编码开销和画质损失都回来了;另一条是让设备侧按分片输出,比如每几分钟一个文件,用文件边界代替 seek。工程里我一般先问清楚回放需求:如果只是“出事了能翻出来看”,MPEG-TS 持续录像足够;如果要在界面上拖时间轴、按秒定位,那就别在 TS 上硬做,要么转封装,要么改成分片。
还有一点容易忽略:TS 文件在写入过程中不是一直可播的。av_write_trailer 没执行之前,文件尾部的状态不确定,有些播放器能播前面一段,有些直接打不开。所以录像文件一定要有正常的收尾流程,异常退出时最好留一个临时文件标记,下次启动能识别出来并做修复或丢弃。这不是玄学,是流式容器的基本脾气。
2.3 什么情况下必须回到解码再编码
直写 packet 不是万能钥匙。需要改分辨率、改帧率、加 OSD、加隐私遮挡、把多路画面拼成一路,这些都得先解码成帧,处理完再编码。还有一种情况是输入编码格式和输出容器不匹配,比如设备给的是某类私有 H.264 变体,TS 封装不认,也只能转码。转码路线的复杂度不在写文件,而在编码器参数:码率控制、GOP 长度、B 帧开关、preset 选择,每一项都影响 CPU 和画质。我的习惯是先把直写跑通,确认录像链路、文件收尾、多路并发都没问题,再评估要不要为了某个功能切到转码。顺序反了,很容易在编码器参数里绕不出来,最后连“文件能不能正常打开”都没验证。
3. 把 RTSP 的 AVPacket 写成 MPEG-TS:输出上下文与 av_write_frame 的落地步骤
3.1 输出上下文:每路录像一个 AVFormatContext
录像的第一件事不是写包,是把输出上下文建起来。AVFormatContext 在 FFmpeg 里既是输入的门面,也是输出的门面,但输入和输出不能共用同一个实例。多路录像时,每一路都要有自己独立的输出上下文和输出文件句柄,不能图省事共用一个。共用会导致写包时流索引串线,轻则文件里只有一路,重则写包直接返回错误。
建输出上下文的顺序是:先申请上下文并指定封装格式为 mpegts,再建输出流并把输入流的编码参数拷过去,然后打开文件、写文件头。只录视频时,输出只建一条视频流,所有 packet 的 stream_index 统一映射到 0;如果输入里带音频而输出不打算留,读到的音频 packet 直接丢弃,不要写进去。代码里我把这一步单独包成一个函数,返回值区分“上下文没建起来”“文件打不开”“写头失败”,方便上层决定是重试还是放弃这一路。
cpp复制// 每路录像独立持有输出上下文,禁止多路共用一个 AVFormatContext
AVFormatContext *outCtx = nullptr;
avformat_alloc_output_context2(&outCtx, nullptr, "mpegts", filePath);
if (!outCtx) {
// 封装格式不支持或内存不足,本路录像直接放弃
return false;
}
// 只录视频:输出建一条视频流,编码参数从输入流拷贝
AVStream *outStream = avformat_new_stream(outCtx, nullptr);
avcodec_parameters_copy(outStream->codecpar, inStream->codecpar);
outStream->codecpar->codec_tag = 0; // 交给封装器自己选 tag
// 打开输出文件并写文件头,TS 的头里会带 SPS/PPS
if (avio_open(&outCtx->pb, filePath, AVIO_FLAG_WRITE) < 0) {
avformat_free_context(outCtx);
return false;
}
if (avformat_write_header(outCtx, nullptr) < 0) {
avio_closep(&outCtx->pb);
avformat_free_context(outCtx);
return false;
}
这段代码里,avformat_alloc_output_context2 的第三个参数写 "mpegts",就是明确告诉 FFmpeg 用 TS 封装;传 nullptr 让它根据文件名推断也行,但录像文件我一般不用扩展名赌行为,直接指定更稳。avcodec_parameters_copy 把输入流的编码参数整体搬过来,包括 extradata,这一步决定了文件头里有没有 SPS/PPS。avio_open 的 AVIO_FLAG_WRITE 表示只写,文件已存在时会被覆盖,所以文件名里要带时间戳或序号,避免多路互相覆盖。avformat_write_header 失败通常意味着编码参数不完整,先检查输入流的 codecpar->extradata 是否为空。
3.2 av_write_frame 写包:时间戳和流索引怎么处理
写包本身很简单,难的是写之前对 packet 做的那几件事。第一是流索引:输入流的 index 和输出流的 index 不一定一样,只录视频时统一改成 0,多流输出时要做映射。第二是时间戳:RTSP 读出来的 packet 带 pts/dts,单位是输入流的时间基;输出流的时间基是封装器定的,两者不一致时不能直接写,常见做法是用 av_packet_rescale_ts 换算。第三是所有权:av_write_frame 不会接管 packet,写完还要自己 av_packet_unref,否则内存一路涨。
cpp复制// pkt 来自 av_read_frame,保持原始编码数据不动
pkt->stream_index = 0; // 映射到输出唯一视频流
av_packet_rescale_ts(pkt, inStream->time_base, outStream->time_base);
int ret = av_write_frame(outCtx, pkt);
if (ret < 0) {
// 写失败:记录错误码,必要时关闭当前文件重开,避免整段录像作废
}
av_packet_unref(pkt);
av_packet_rescale_ts 的两个时间基分别来自输入流和输出流,不要手动乘除,FFmpeg 内部用的是有理数运算,手算容易在长时间录像后累积漂移。av_write_frame 的返回值小于 0 时不要只打日志就继续写,TS 封装器在磁盘满、文件句柄失效时会连续报错,继续写只会刷屏。我的做法是记下错误码,关闭当前文件,按新的文件名重开一段,把故障点留在日志里,而不是让整段录像变成零字节。
如果输出里同时有音频和视频,单靠 av_write_frame 按读到的顺序写,时间戳可能交错得很难看。这种场景要用交错写接口,让封装器自己按时间戳排序。只录视频时不存在这个问题,av_write_frame 足够。这也是我建议先做单视频流录像的原因:链路短,出错点少,跑通以后再考虑音频。
3.3 收尾:av_write_trailer 与异常关闭
录像文件能不能正常打开,很大程度取决于收尾。正常流程是停止写包以后调用 av_write_trailer,再关闭 pb,最后释放上下文。av_write_trailer 会把封装器缓冲区里的数据刷出去,补上文件尾需要的信息。少了这一步,TS 文件可能只保留了前面一段,播放器表现各不相同,有的能播,有的直接报错。
异常关闭要单独处理。程序崩溃、用户强退、磁盘拔掉,这些情况下 av_write_trailer 不会执行。我的做法是录像时先写一个同名的临时文件,正常收尾完成后再重命名成正式文件;启动时扫描目录,发现遗留的临时文件就标记为“未正常结束”,能播就保留,不能播就移到损坏目录。这个习惯听起来多余,直到有一次现场断电,几十个录像文件里只有带临时标记的那些还能救回来,从那以后我每个写文件的模块都加这一手。
cpp复制// 正常收尾:刷缓冲、关文件、释放上下文
av_write_trailer(outCtx);
avio_closep(&outCtx->pb);
avformat_free_context(outCtx);
avio_closep 传的是 &outCtx->pb,关闭后指针会被置空,避免重复关闭。avformat_free_context 只释放上下文本身,不会帮你关文件,所以顺序不能反。如果这一路录像中途失败过,收尾前先判断 outCtx->pb 是否为空,为空就只释放上下文,不要再调 av_write_trailer。
4. 多路 RTSP 下的录像稳定性:单路验证、线程边界与重连配合
4.1 新功能先回单路工程验证
这套工程同时有 Makefile 和 .pro 两份构建脚本,Makefile 用来跑最小验证程序,.pro 用来出带窗口的主程序。我加录像功能时,先在 Makefile 的单路工程里跑通:一路 RTSP 地址、一个输出文件、写完能播、时间戳正常。确认逻辑没问题,再把同一段代码合进 Qt 主工程。这个顺序看着慢,实际省时间——多路环境下出的问题,八成不是录像逻辑本身,而是线程调度、文件句柄、内存竞争,单路环境根本复现不出来,你在多路里调只会越调越乱。
单路验证要盯三个点:文件能不能从头播到尾、拖到最后能不能正常结束、连续录十几分钟以后进程内存有没有明显上涨。前两个看封装和收尾,第三个看 packet 有没有正确释放。这三个点过了,再谈多路。
.pro 里链接 FFmpeg 的库不需要全量,录像只用封装、解复用和工具库:
pro复制# Qt 工程里链接 FFmpeg,录像链路只需要这三类库
LIBS += -lavformat -lavcodec -lavutil
-lavformat 提供 AVFormatContext 和写包接口,-lavcodec 提供编码参数相关的结构,-lavutil 提供时间基和内存工具。不要为了省事把 swscale、swresample 也链进来,用不到反而增加部署时的依赖排查成本。Makefile 那边同理,单路验证程序只链这三个库就能跑。
4.2 多路下的资源竞争:录像线程别和解码线程抢
录像写文件是阻塞 IO,放在解码线程里会直接拖慢渲染。解码线程的节奏是“读包、解码、送显”,中间任何一次磁盘卡顿都会让画面顿一下。我的做法是解码线程只负责把 packet 放进一个有上限的队列,录像线程从队列里取包写文件。队列满了就丢最旧的包或者丢当前包,具体丢哪个看业务:留证场景宁可丢帧也别阻塞解码,离线分析场景可以反过来,让解码等一等,保证录像完整。
队列要有上限,这是血泪经验。最早我用的是无界队列,磁盘一慢,队列越堆越长,最后内存被吃光,进程被系统杀掉。改成固定长度以后,最坏情况是丢包,但进程活着,日志里能看到丢了多少。丢包策略要写进日志,不然回看时发现少了一段,根本不知道是网络断的还是队列丢的。
多路之间还有文件句柄和磁盘带宽的竞争。每一路一个输出文件,同时写的时候磁盘寻道会变慢,机械盘上尤其明显。工程里我一般把录像目录放在单独的分区,并且限制同时录制的路数;路数多了就降码率或者改成分片轮转,不要指望一块盘无限接。这些是容量规划,不是代码能完全解决的。
4.3 重连模块与录像文件的边界
RTSP 断线重连是拉流工程的标配,但重连和录像放在一起就有一个边界问题:重连之后,新的码流参数可能和旧的不一样,SPS/PPS 变了,分辨率也可能变。如果继续往同一个 TS 文件里写,播放器会在切换点花屏,甚至整段解析失败。我的处理是重连成功后不续写原文件,直接关掉当前录像、按新文件名重开一段。代价是一次断线会多出一个文件,好处是每个文件都能独立播放,不会互相污染。
重连模块和录像模块之间只传两个状态:流参数是否变化、当前文件是否还能写。解码、渲染、重连三个模块分开以后,录像只依赖“拿到 packet”和“知道流参数变没变”,不需要知道重连是怎么实现的。这样加第二路流的时候,录像代码几乎不用改,只是多实例化一套上下文。反过来说,如果录像代码里揉进了重连判断,多路复制的时候就会到处是特判,改一处漏一处。
5. 录像链路的避坑排查:文件能播却拖不动、写包返回负值、多路互相拖垮
5.1 现象:文件能从头播,一拖进度条就卡死
现象很具体:录了半小时的 TS 文件,播放器打开正常,从头播也正常,手一碰进度条就转圈,等半天回到开头。原因不是文件损坏,是 MPEG-TS 本身没有索引,播放器只能靠码流里的时间戳估算位置,拖到没有关键帧的位置就得重新找。解决方式取决于需求:只是留证回看,接受这个限制,播放器换一个对 TS 友好的;要精确 seek,就别在 TS 上硬做,改成解码重编码写 MP4,或者让设备侧按固定时长分片,用文件边界代替拖动。我一般会先问清楚“拖动”是给谁用的,如果是给现场人员翻录像,分片方案比转码更省事。
5.2 现象:av_write_frame 返回负值,日志刷屏但文件不长大
写包返回负值,常见原因有三个。第一个是输出文件句柄失效,比如磁盘满、目录被删、权限变化,这时候继续写只会一直报错。第二个是 packet 的流索引越界,输出只建了一条流,packet 的 stream_index 却是 1,封装器直接拒绝。第三个是时间戳倒退,重连以后输入流的时间基重置,新 packet 的 pts 比上一个小,TS 封装器对这种情况不宽容。排查顺序是:先看错误码对应的文本,再看输出流数量和 packet 的索引是否匹配,最后看时间戳是不是单调。解决上,句柄失效就关文件重开,索引越界就统一映射,时间戳倒退就重开新文件而不是续写。
5.3 现象:第二路一开,第一路录像开始花屏
单路录得好好的,加第二路以后第一路偶尔花屏,第二路也不干净。原因通常不是编码问题,是两路共用了不该共用的东西:共用同一个 AVFormatContext、共用同一个写队列、或者共用同一个文件句柄。TS 写包不是线程安全的,两个线程往同一个上下文里写,包会交错。解决是把每路的上下文、队列、文件句柄全部分开,一路一套,宁可多占一点内存。另外检查队列的锁粒度,锁加在“取包”和“放包”上,不要锁住整个写文件过程,否则两路会互相等。分开以后如果还花屏,再看是不是磁盘带宽不够导致写包超时,那就是容量问题,不是并发问题。
5.4 现象:程序被强杀后,录像文件打不开
进程被强杀,av_write_trailer 没执行,TS 文件尾部不完整。有的播放器能播前面一段,有的直接拒绝。根因是流式容器依赖收尾来补文件状态,异常退出就缺了这块。解决分两层:第一层是写临时文件,正常收尾后重命名,启动时能识别遗留文件;第二层是给录像线程加一个退出信号处理,收到退出请求先停止取包、执行收尾,再退出进程。强杀信号拦不住,但正常关闭和大多数异常能救回来。我现在的习惯是每个录像文件旁边有一个很小的状态文件,收尾成功才删,启动时看到状态文件还在就知道上次没善终。
6. 验证与收口:用一份可回放录像反过来验收 Qt+FFmpeg 工程
录像功能写完,我不会只看“文件生成了”就收工。验收方式是拿一份录了至少十几分钟的文件,做三件事:从头播到尾看有没有花屏和断点;拖到中间和末尾看播放器行为是否符合预期;用工具读一遍文件,确认流数量、编码格式、时长和预期一致。这三件事能把大部分封装问题暴露出来,比在代码里反复看日志有效。
| 验证项 | 观察点 | 常见异常指向 |
|---|---|---|
| 从头播放 | 画面连续、无花屏 | 写包时流索引或时间戳错乱 |
| 拖到末尾 | 能正常结束、不崩播放器 | 收尾未执行或文件尾缺失 |
| 读文件信息 | 流数量、编码、时长符合预期 | 输出流建错或参数拷贝不全 |
| 连续录制 | 内存平稳、文件持续增长 | packet 未释放或写包失败被吞 |
| 多路同时录 | 各路文件独立可播 | 上下文或句柄被共用 |
这套验收做完,再回头看代码,很多东西会对上:花屏对应流索引,拖不动对应容器选型,文件打不开对应收尾。Qt 这边我只做两件事:把 RTSP 地址和录像开关传下去,把录像状态回上来,界面不参与任何写文件逻辑。这样换界面、加第二路、改重连,都不用动录像模块。
从那以后我每次加新模块,都强制先在单路工程里跑一遍,确认逻辑对,再合进多路主工程。多路环境下的问题,先怀疑资源和同步,再怀疑功能本身,这个顺序帮我省了很多来回改代码的时间。希望帮到你。
