1. LiveTalking 项目概述
LiveTalking 是一个开源的数字人实时对话系统,能够将输入的文本或语音转换为逼真的数字人视频输出。这个项目结合了语音合成(TTS)和口型同步(Lip Sync)技术,实现了高度拟真的虚拟人物交互体验。作为一名长期从事AI应用开发的工程师,我在实际部署过程中积累了一些值得分享的经验。
项目核心由两部分组成:MuseTalk 负责语音驱动口型动画生成,wav2lip 则提供高清口型同步支持。整个系统运行需要约8GB显存,推荐使用NVIDIA 30系及以上显卡。我在部署时使用的是RTX 3090显卡,Ubuntu 20.04系统环境,这也是目前比较理想的配置组合。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与依赖安装
2.1 基础环境配置
在开始部署前,需要确保系统已安装以下基础组件:
code复制# 安装必备系统工具
sudo apt update && sudo apt install -y ffmpeg git python3-pip
# 验证FFmpeg安装
ffmpeg -version # 应显示4.x及以上版本
特别提醒:FFmpeg的路径配置至关重要。很多后续问题都源于FFmpeg路径未正确设置。建议通过which ffmpeg确认安装路径,并永久写入环境变量:
code复制echo 'export PATH=$PATH:/usr/bin/ffmpeg' >> ~/.bashrc
source ~/.bashrc
2.2 Python环境搭建
推荐使用conda创建独立的Python环境(3.8-3.10版本):
code复制conda create -n livetalk python=3.9
conda activate livetalk
安装核心依赖时,有几个关键版本需要注意:
code复制# 必须指定版本的库
pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 -f https://download.pytorch.org/whl/torch_stable.html
# MM系列计算机视觉库
pip install --no-cache-dir -U openmim
mim install mme
