1. 项目背景与核心价值
图像恢复是计算机视觉领域长期存在的基础性问题,其目标是从退化的观测图像中重建出高质量的原始图像。传统方法通常采用手工设计的先验或基于深度学习的端到端训练范式,但在实际应用中往往面临两个关键挑战:一是不同用户对恢复结果的偏好存在主观差异(如有人偏好锐利边缘,有人倾向柔和过渡);二是测试阶段遇到超出训练数据分布的场景时,模型表现会显著下降。
我们提出的测试时偏好优化(Test-time Preference Optimization, TTPO)框架,创新性地将用户反馈机制引入测试阶段。通过在推理时收集用户对恢复结果的微调信号,动态调整模型参数以适应个体偏好和当前输入特性。这种范式突破了传统固定模型的局限,在医疗影像、卫星遥感、老照片修复等需要个性化输出的场景中展现出独特优势。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术方案设计解析
2.1 整体架构设计
系统采用双阶段自适应机制:
- 基础恢复阶段:使用预训练的U-Net架构生成初始恢复结果
- 偏好优化阶段:通过轻量级适配模块实现以下功能:
- 用户偏好编码(通过3-5次点击/滑块交互)
- 测试时梯度更新(仅调整适配器参数)
- 领域感知正则化(防止过拟合到当前输入)
python复制# 适配器模块代码示例
class LightweightAdapter(nn.Module):
def __init__(self, base_dim):
super().__init__()
self.pref_proj = nn.Linear(3, 64) # 用户偏好映射
self.feature_mod = nn.Sequential(
nn.Conv2d(base_dim+64, 128, 1),
nn.GELU(),
nn.Conv2d(128, base_dim, 1))
def forward(self, x, user_pref):
B, C, H, W = x.shape
pref_emb = self.pref_proj(user_pref).view(B,6
