扩散模型在人群密度估计中的创新应用

1. CrowdDiff：当扩散模型遇见人群密度估计

去年夏天在上海外滩实地测试人群计数算法时，我遇到了一个典型难题：当大量行人重叠站立时，传统密度图方法总会低估实际人数。这个问题在CVPR 2024的最新论文《CrowdDiff》中给出了创新解法——将扩散模型的去噪能力引入人群密度估计领域。不同于主流方法直接预测单张密度图，CrowdDiff通过扩散过程生成多个合理假设，显著提升了遮挡场景下的计数精度。

这项工作的核心价值在于解决了人群分析中的两个关键痛点：一是传统高斯核生成密度图时背景噪声的累积问题，二是单输出模型难以处理严重遮挡情况。团队通过精心设计的条件扩散框架，使模型能够像"修复破损照片"一样，逐步还原被遮挡人群的真实分布。

2. 扩散模型在人群分析中的独特优势

2.1 为什么传统方法会失效

在南京路步行街的实测数据显示，当人群密度超过3人/㎡时，基于CNN的密度图方法平均误差会骤增至15%以上。根本原因在于标准密度图生成流程：

1. 对每个行人标注点施加固定σ的高斯核
2. 将所有核函数叠加得到"地面真值"
3. 训练网络直接拟合这个有缺陷的目标

这种处理会带来两个致命问题：

• 背景区域因多高斯核叠加产生伪信号（如图1红框）
• 密集区域因核重叠导致真实人数被低估

2.2 扩散模型如何破局

CrowdDiff借鉴了DDIM（去噪扩散隐式模型）的渐进式生成思想，但做了三个关键改进：

1. 多假设生成：在推理时通过不同噪声采样生成多个合理密度图
2. 条件引导：将原始图像作为条件输入到每个去噪步骤
3. 自适应融合：设计注意力机制动态聚合多个假设结果

实测表明，这种方案在UCF-QNRF数据集上将MAE（平均绝对误差）降低了23.7%，特别是在>200人的高密度场景提升更为显著。

3. CrowdDiff的架构设计解析

3.1 整体流程概览

模型工作流程可分为四个阶段：

1. 特征提取：使用ResNet-50 backbone提取多尺度图像特征
2. 噪声注入：构建从清晰密度图到随机噪声的正向过程
3. 条件去噪：通过U-Net逐步预测并去除噪声
4. 假设融合：对多个去噪路径结果进行加权平均

关键设计：在噪声预测网络中加入