曲谱同步视频制作指南：从MIDI对齐到ffmpeg合成

这次我们来看一个比较特殊的“项目”：一段标题为“[曲谱同步]巴赫勃兰登堡协奏曲第二号第一乐章钢琴独奏改编”的音乐视频。放在 CSDN 上来讲，不是说我们要欣赏巴赫，而是拆解这类“曲谱同步”视频是怎么做出来的。它的本质不是软件，却是一个典型的内容生产工程：一份钢琴独奏音频、一份乐谱、一条高亮播放的时间轴，最后合成一段带动态乐谱的教学视频。这类视频在音乐区很受欢迎，同时对技术流程也有要求：乐谱里的音符要和音频播放逐一对准，渲染出来的画面还要清晰、稳定、可批量制作。

这篇文章会从工程角度把整个流程拆开讲，覆盖素材准备、MIDI 与音频对齐、MuseScore 高亮录制、ffmpeg 合成、批量任务设计，以及常见踩坑点。整个过程不依赖特定 AI 模型，普通 CPU 电脑就能完成，但如果后续接入 AI 自动扒谱、音频分离、自动节拍检测，就要看显卡和显存了。如果你打算做钢琴教学视频、演奏可视化，或者想把自己手头的乐谱批量转成动态谱，可以先收藏这篇再往下看。

1. 曲谱同步视频核心能力速览

先把这类“曲谱同步视频制作项目”的能力边界列清楚，方便你判断是否值得投入。

这里要特别说明：MuseScore 是开源制谱软件，OBS 是开源录屏软件，ffmpeg 是命令行音视频处理工具，这三个组合足以完成从乐谱到视频的完整链路。相比商业录屏和剪辑软件，这个组合的优势是脚本可控，适合批量处理。

2. 适用场景与使用边界

曲谱同步视频的核心价值，是把“听觉信息”和“视觉符号”绑定在一起。对钢琴学习者来说，跟着高亮音符听原曲，比对着静态谱面看效率高很多。对音乐老师来说，做课件时插入一小段动态谱，能直接展示旋律走向、节奏型变化和声部层次。对乐谱校对来说，把 MIDI 和录音对齐后，能快速发现改编中的错音、漏音、节奏偏差。对视频创作者来说，这类内容天然适合 B 站、视频号等平台，完播率通常也不差。

但它也有明显的使用边界。首先，它不适合需要实时互动、动态变速演示的场景，比如在线陪练、即兴演奏教学。其次，曲谱同步视频的制作费时，核心难点是对齐。自由速度越明显的曲子，手工对齐的工作量越大，巴赫这种相对规整的作品已经算好处理，浪漫派作品会更麻烦。最后是版权：巴赫的勃兰登堡协奏曲原曲属于公有领域，任何人都可以自由使用，但“钢琴独奏改编”这个具体版本、演奏录音、乐谱排版和视频录屏素材，可能仍然有版权。公开传播前需要确认来源，不能直接拿商业录音和付费乐谱做视频分发。

所以最稳妥的做法是：自己演奏录音、自己用 MuseScore 打谱或使用公有领域乐谱，并在视频简介里注明出处。如果是个人学习和课堂内部使用，边界会宽松很多，但商用或公开发布前务必复核版权。

3. 环境准备与前置条件

在做乐谱同步视频之前，先把基础环境准备好。下面这套工具链在 Windows、macOS、Linux 上都可以安装，区别只是包管理器命令不同。

这里给出一套通用安装命令，实际命令需要按系统环境调整：

bash复制# Windows: 使用 Chocolatey 示例
choco install ffmpeg -y
python -m pip install --upgrade pip
pip install pretty_midi

# macOS: 使用 Homebrew 示例
brew install ffmpeg python
pip3 install pretty_midi

# Linux: 使用 apt 示例
sudo apt update && sudo apt install ffmpeg python3-pip
pip3 install pretty_midi

pretty_midi 是后面读取 MIDI 音符时间的关键库，强烈建议装上。如果要做自动节拍检测，可以额外装 librosa，但自动检测结果只能作为参考，最终还是要人工校准。

磁盘空间方面，一首协奏曲乐章的 WAV 音频大概几百 MB，录屏视频几十 MB 到几百 MB 不等，整个项目目录建议至少预留 2GB 空间。不需要 GPU，但如果之后想把 AI 音频分离或自动扒谱接入流程，就需要对照具体模型的显存要求准备设备。

4. 素材准备与乐谱工程

正式开始制作前，先把项目目录搭好。推荐使用独立目录存放音频、乐谱、渲染产物和脚本，这样批量处理时不会乱。

text复制brandenburg2_mvt1/
├── audio/
│   └── original_performance.wav
├── score/
│   ├── score.mid
│   ├── score.musicxml
│   └── score.pdf
├── render/
│   ├── score_video.mp4
│   └── final_video.mp4
├── scripts/
│   ├── midi_to_csv.py
│   └── batch_export.py
└── docs/
    └── notes.md

音频素材尽量用无损 WAV，采样率 44.1kHz 或 48kHz 都可以。如果手上只有 MP3，也能用，但最终合成视频时声音质量会有一层损失。乐谱素材可以有三个来源：一是从公有领域乐谱网站下载 PDF 后导入打谱软件重新排版；二是在 MuseScore 中直接搜索已有用户上传的乐谱；三是从零开始制作钢琴独奏改编版。

重点是导出一份带正确时值的 MIDI 文件。MuseScore 打开乐谱后，通过“文件 -> 导出 -> MIDI”即可导出。MIDI 文件里的音符时间线是后续对齐和生成高亮的基础，所以乐谱里的拍号、速度标记、每个音符的时值都必须正确。如果谱面本身存在跨声部、连音线、弱起等情况，导出后要重新检查一遍，避免后面合成视频时音符高亮混乱。

如果你的目标是制作钢琴独奏改编版，原始乐队总谱可能需要先做浓缩。以巴赫勃兰登堡协奏曲第二号第一乐章为例，原曲有乐队、小号、长笛、双簧管和小提琴声部，钢琴改编需要把这些声部合理分配到左右手。在 MuseScore 中操作时，建议先把总谱导入，再根据钢琴演奏的可行性调整音区和声部，最后导出钢琴谱的 MIDI。这一步不属于纯技术问题，却是整个项目最需要耐心的部分。

5. 音频与乐谱对齐：核心难点

曲谱同步不是简单地把 MIDI 和音频拖到同一条时间轴上，因为 MIDI 的时间单位是“小节/拍”，音频的时间单位是“秒”，而实际演奏往往不是严格的节拍器。

有两种典型情况：

• 情况 A：用 MuseScore 播放 MIDI 并录屏，同时也把 MIDI 声音录进去。这种“同源生成”天然同步，但音色是电子钢琴音色，不是真实演奏。
• 情况 B：使用钢琴独奏录音，需要把真实的音频和 MIDI 乐谱对齐。这是大多数教学视频想要的效果，也是本节要重点讲的难点。

对齐的思路并不复杂：先找到音频里的拍点时间，再让 MIDI 里的对应拍点落在同样的时间上。首先用 pretty_midi 把 MIDI 的音符信息导出来：

python复制import pretty_midi
import csv

midi_path = "score/score.mid"
midi_data = pretty_midi.PrettyMIDI(midi_path)

notes = []
for inst in midi_data.instruments:
    for note in inst.notes:
        notes.append({
            "start": round(note.start, 4),
            "end": round(note.end, 4),
            "pitch": note.pitch,
            "velocity": note.velocity,
            "program": inst.program
        })

with open("score/notes.csv", "w", newline="", encoding="utf-8") as f:
    writer = csv.DictWriter(f, fieldnames=["start", "end", "pitch", "velocity", "program"])
    writer.writeheader()
    writer.writerows(notes)

print(f"已导出 {len(notes)} 个音符时间信息到 score/notes.csv")

拿到 MIDI 音符时间后，再用 librosa 对音频做一次节拍检测作为初始参考：

python复制import librosa
import numpy as np

audio, sr = librosa.load("audio/original_performance.wav", sr=22050)
tempo, beat_frames = librosa.beat.beat_track(y=audio, sr=sr)
beat_times = librosa.frames_to_time(beat_frames, sr=sr)

print(f"估计速度为 {tempo} BPM")
print("前 20 个拍点时间：")
print(beat_times[:20])

自动检测的拍点往往不够稳定，遇到装饰音、踏板、轻柔乐句时会偏。更可靠的做法是打开 Audacity，在音频波形上手动标记每个强拍的位置，导出标签文件，再结合 MIDI 的小节拍点建立偏移映射。实际操作时，建议先从第 1 小节第一拍和第 9 小节第一拍开始对，这两个点对上后，中间段落的偏差通常不会太大。

如果演奏有比较明显的自由速度，可以按乐句分段对齐。一种做法是在 MIDI 文件里修改 tempo map，让 MuseScore 播放时在对应段落使用接近演奏的速度，这样可以减少后期修剪工作量。不过完全依赖自动对齐仍然风险高，最终需要把音频和 MIDI 并轨试听，在音轨上滚动播放，观察谱面高亮和声音是否“贴合”。

6. 乐谱高亮渲染与视频合成

对齐工作完成后，进入渲染阶段。这里推荐一套可控的流程：MuseScore 播放高亮 + OBS 录屏 + ffmpeg 合成。

第一步：在 MuseScore 中打开对齐后的 MIDI 乐谱，进入“播放”面板，确认播放时音符会高亮。如果版本或视图设置导致高亮不显示，检查“视图”菜单里是否开启了“播放”相关面板。为了让录屏不录入 MIDI 音色，先把 MuseScore 的混音器输出静音，只保留高亮画面。

第二步：用 OBS 新建窗口采集，把监控窗口选为 MuseScore 窗口，分辨率按最终视频需求设置。建议至少 1080p 30fps，画面比例 16:9。录制格式选 MP4，编码优先用硬件编码，例如 NVIDIA 显卡使用 NVENC，避免录屏时 CPU 占用过高。点击录制后，在 MuseScore 播放乐谱，录制完整播放过程。

第三步：用 ffmpeg 把录屏视频和真实钢琴音频合成。先直接尝试无偏移合成，如果音画不同步，再调整音频延迟。这里给出一个通用命令：

bash复制ffmpeg -y -i render/score_video.mp4 -i audio/original_performance.wav \
  -c:v copy -c:a aac -shortest render/final_video.mp4

-c:v copy 表示画面不重新编码，速度很快。若需要更精细的 A/V 同步控制，可以用 -itsoffset 延迟音频：

bash复制ffmpeg -y -itsoffset 0.5 -i audio/original_performance.wav \
  -i render/score_video.mp4 \
  -c:v copy -c:a aac -map 1:v -map 0:a -shortest render/final_video.mp4

这里的 0.5 只是示例，实际延迟需要通过人耳试听确定，通常在两帧以内调整。

如果对 MuseScore 高亮动画样式不满意，也可以考虑在 Python 中基于 score/notes.csv 渲染图片序列，再用 ffmpeg 合成动态乐谱动画。这种方案的自由度更大，但需要自行处理谱面排版，成本高很多，适合后续做成“批量生产管线”时再考虑。

7. 批量任务与脚本化

当你需要把多个乐谱、多个乐章批量制作成曲谱同步视频时，不能每个视频都手动重复录屏和编辑。虽然 MuseScore 高亮录屏这一步很难完全脚本化，但前期的 MIDI 解析、CSV 导出、ffmpeg 合成都可以写脚本批量完成。

一个简单的批量 ffmpeg 合成脚本可以这样写：

python复制import subprocess
from pathlib import Path

jobs = [
    {
        "video": "works/brandenburg2/score_video.mp4",
        "audio": "works/brandenburg2/audio.wav",
        "output": "works/brandenburg2/final.mp4",
    },
    {
        "video": "works/brandenburg3/score_video.mp4",
        "audio": "works/brandenburg3/audio.wav",
        "output": "works/brandenburg3/final.mp4",
    },
]

for job in jobs:
    cmd = [
        "ffmpeg", "-y",
        "-i", job["video"],
        "-i", job["audio"],
        "-c:v", "copy",
        "-c:a", "aac",
        "-shortest",
        job["output"]
    ]
    print("运行:", " ".join(cmd))
    subprocess.run(cmd, check=True)

这个示例只处理最简单的画面复制和音轨替换。实际作业中，建议先在每个工作目录下维护一份 config.json，记录音频延迟、画面裁切、片头片尾等信息，再让脚本读取配置文件生成最终命令。这样到后期可以做到“只改配置，不改代码”。

批量任务还要考虑失败重试和日志。ffmpeg 返回非零退出码时，Python 的 subprocess.run(check=True) 会直接抛异常，可以在外层加一个循环记录失败项，等全部跑完再统一排查。

python复制failed = []
for job in jobs:
    try:
        subprocess.run(cmd, check=True)
    except subprocess.CalledProcessError:
        failed.append(job["output"])

print("失败任务：", failed)

8. 资源占用与性能观察

这类视频制作流程对硬件的要求不高，但不同阶段的资源瓶颈不一样。

MuseScore 播放高亮时，主要消耗 CPU 和少量内存。谱面越复杂，音轨越多，CPU 占用越高。录屏阶段，OBS 如果不开启硬件编码，默认使用 x264 软件编码，CPU 占用会明显升高，可能出现画面掉帧。因此这里建议在 OBS 中开启硬件编码：NVIDIA 显卡用 NVENC，AMD 显卡用 AMF，Apple 芯片用 VideoToolbox。

ffmpeg 合成阶段如果是 -c:v copy，基本不占 CPU；如果重新编码，则 CPU 占用高。对于 1080p 视频，-c:v copy 已经够用，因为录屏时已经得到高质量画面。

内存方面，整个过程通常不会超过 4GB，但如果你同时在 MuseScore、OBS、Audacity、浏览器里切换，建议至少 8GB 内存。磁盘空间主要被录屏原视频和最终导出视频占据，一首 3 分钟左右的 1080p 视频，录制原文件可能到 300MB 以上，最终压缩后在 50MB 左右，具体取决于码率。

显存只有在接入 AI 模型时才需要关注。例如用 AI 把乐队录音分离成“钢琴独奏声部”，或自动把音频转成 MIDI，这些模型会根据模型大小占用不同显存。实际显存占用要以模型文档和本机测试为准，不能盲目按经验估算。操作时可以在任务管理器或 nvidia-smi 中实时观察。

bash复制nvidia-smi --query-gpu=utilization.gpu,memory.used --format=csv -l 5

9. 常见问题与排查方法

这里重点提醒：音画同步问题不要全自动解决。自动节拍检测适合粗对齐，最终必须以“第 N 小节第 1 拍”逐点核对。可以写一个简单的检查脚本，把 notes.csv 里的前几个音符时间打印出来，再对应音频里的拍点，快速判断偏差方向。

10. 最佳实践与使用建议

制作曲谱同步视频，最容易翻车的地方不是工具不会用，而是项目组织混乱。我的建议是每个作品都保留独立目录，音频、原始乐谱、中间 CSV、录屏原片、最终产物完全分开。目录结构从一开始就规范好，后面批量处理才能跑得起来。

第一，先做 30 秒样片验证流程，不要直接渲染整首协奏曲。先挑前 4 个小节，完成对齐、录屏、合成，确认高亮和声音贴合后，再进入完整版制作。这个过程能省下大量返工时间。

第二，所有脚本都要有日志。批量任务跑完后，不要只看 failed 列表，还应该给每个输出目录生成一个报告，记录视频分辨率、时长、文件大小、码率，方便后续检查。

第三，MuseScore 中的乐谱原文件和导出的 MIDI 文件要定期备份。乐谱是核心资产，丢了重新打谱非常痛苦。

第四，涉及他人演奏、他人改编版本时，要保存授权记录。如果使用的是自己录制的演奏和自建谱面，那版权风险很小。公开发布时建议在简介里写明：“巴赫原曲，公有领域乐谱，本人演奏并制作动态谱。”标注来源既是对原作者的尊重，也能降低版权争议风险。

第五，批量任务接入队列后，建议做一个“失败重试 + 部分手动处理”的双通道机制。比如 ffmpeg 处理失败后自动重试两次，仍然失败就把任务列表写进 pending.txt，等人工检查，而不是直接终止整个批次。

11. 总结与下一步

回到开头那个标题：“巴赫勃兰登堡协奏曲第二号第一乐章钢琴独奏改编”并不是一个需要跑模型的 AI 项目，却很适合作为音乐方向技术实践的切入点。整个流程里你真正需要掌握的是 MIDI 时间信息、音频拍点对齐、录屏编码和批量脚本化，这些能力放到其他内容生产场景里同样通用。

最建议先验证的是：找到一小节，完成 MIDI 音符导出、MuseScore 高亮录屏、ffmpeg 音轨替换，感受一下音画同步需要做什么调整。最容易踩的坑是自由速度造成的漂移，别指望自动检测一次到位，手工对齐更可靠。后续如果想把生产能力进一步提升，可以尝试接入 AI 自动扒谱、音频分离模型，把这些模型输出的 MIDI 和分轨音频再交给同一套批量管线，就能从一个作品扩展到一批作品。到那个时候，真正决定视频质量的不再是工具链，而是你对每个乐句、每个拍点的细心程度。