1. 生成式模型在低层视觉任务中的表现悖论
最近在计算机视觉圈子里有个很有意思的现象:Nano Banana Pro这类生成式大模型在处理图像去雾、超分辨率等传统低层视觉任务时,明明人眼看起来效果不错,但用PSNR、SSIM这些经典指标一测,分数却不如专用模型。这就像一位厨艺精湛的大厨,做出来的菜顾客都说好吃,但用标准化的营养检测仪器一测,各项指标反而不如快餐店的预制菜。
这个现象背后其实反映了计算机视觉领域一个根本性的认知冲突。低层视觉任务(low-level vision)传统上追求的是对图像退化的"精确逆过程"——比如去雾就是要完美还原没有雾霾时的场景,超分就是要精确恢复丢失的高频细节。这类任务长期以来都是用PSNR(峰值信噪比)和SSIM(结构相似性)这类强调像素级对齐的指标来评估的。
但生成式模型的工作机制完全不同。以Nano Banana Pro为例,它本质上是个基于大规模预训练的多模态模型,其核心能力是根据输入图像和文本提示(prompt)来"想象"出合理的视觉内容。这就导致了一个关键差异:
传统专用模型像是个严谨的修复师,追求的是对原始场景的精确还原;而生成式模型更像是个富有创造力的画家,它更关注输出结果在语义上是否合理、在视觉上是否舒适,至于是否与原始像素严格对齐,反而不是首要考虑因素。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 评测实验的设计与发现
华中科技大学的研究团队设计了一个相当全面的评测方案,他们选取了14类低层视觉任务,覆盖图像恢复(如去雾、去噪)、图像增强(如低光增强)、图像融合(如红外-可见光融合)三大类别。最特别的是,他们刻意采用了"零样本+简单文本提示"的使用方式——不进行任何任务特定的训练或微调,只用基础prompt如"请对这张图像进行超分辨率处理"。
2.1 评测任务范围
实验涵盖的具体任务包括:
- 图像恢复类:Dehazing(去雾)、Super-Resolution(超分)、Deraining(去雨)、Deshadowing(去阴影)、Motion Deblur(运动去模糊)、Defocus Deblur(散焦去模糊)、Denoising(去噪)、Reflection Removal(去反射)、Flare Removal(去光晕)
- 图像增强类:Low-Light Enhancement(低光增强)、Underw
