OFA多模态模型部署与视觉问答实践

1. 项目概述

OFA（One For All）是字节跳动提出的多模态预训练模型，支持视觉问答、图像描述、图像编辑等多种任务。其中视觉问答（VQA）是最常用的功能之一——输入一张图片和一个英文问题（该模型仅支持英文），模型就能输出对应的答案。例如输入"瓶子"图片+问题"What is the main subject?"，输出"a water bottle"。

本次部署使用的是ModelScope平台的iic/ofa_visual-question-answering_pretrain_large_en模型，基于Python虚拟环境（Miniconda）部署，全程在Linux环境下操作（Windows可参考，命令略有差异）。

注意：该模型仅支持英文问答，中文问题会输出无意义结果

2. 环境准备

2.1 基础环境要求

• 操作系统：Linux（Ubuntu/CentOS均可，本次使用Ubuntu 20.04）
• Python版本：3.9-3.11（推荐3.11，不推荐3.12+，部分依赖不支持）
• 工具：Miniconda（用于创建独立虚拟环境）
• 网络：能访问ModelScope和PyPI源（建议配置清华源加速）

2.2 Miniconda安装与配置

Miniconda是Anaconda的轻量版，可以方便地创建和管理Python虚拟环境。以下是安装步骤：

bash复制# 下载Miniconda安装脚本（Linux版）
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

# 运行安装脚本
bash Miniconda3-latest-Linux-x86_64.sh

# 按照提示完成安装后，初始化conda
source ~/.bashrc

安装完成后，可以通过conda --version命令验证是否安装成功。

3. 完整部署步骤

3.1 创建并激活虚拟环境

虚拟环境可以隔离不同项目的依赖，避免版本冲突。执行以下命令：

bash复制# 创建名为torch27的虚拟环境，Python版本3.11
conda create -n torch27 python=3.11 -y

# 激活虚拟环境
conda activate torch27

激活成功后，终端提示符前会显示(torch27)，表示已进入该环境。

3.2 配置清华PyPI源

默认PyPI源在国外，下载速度慢且容易超时。配置清华源可显著提升下载速度：

bash复制pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

3.3 创建工作目录

创建一个专门的工作目录存放项