Next Point Prediction：目标检测的范式革命与Rex-Omni架构解析

1. 从传统检测到Next Point Prediction的范式革命

目标检测技术在过去十年经历了从手工特征到深度学习的跨越式发展，但核心范式始终未变——无论是单阶段（YOLO系列）还是两阶段（Faster R-CNN）方法，本质上都在进行"框回归"（bounding box regression）。这种范式存在三个根本性局限：

1. 几何约束：矩形框难以精确拟合不规则物体轮廓（如鸟类展开的翅膀）
2. 语义割裂：分类与定位任务分离导致上下文信息利用不足
3. 扩展瓶颈：新增类别需要重新设计检测头（detection head）

Rex-Omni提出的Next Point Prediction（NPP）机制彻底颠覆了这一范式。其核心思想是将目标检测转化为序列生成问题：给定图像和当前已预测的点集，模型需要持续输出下一个最可能属于目标的点坐标，直到生成完整的物体轮廓。这种机制的优势在于：

• 几何自由：点集可构成任意形状的物体表征
• 端到端学习：分类与定位统一为序列生成任务
• 零样本迁移：点预测机制天然适配开放词汇场景

实际测试表明，在COCO数据集上，NPP对长宽比极端物体（如冲浪板）的检测AP比传统方法提升17.3%，验证了几何适应性优势。

2. Rex-Omni的架构创新解析

2.1 视觉-语言联合编码器

模型采用双塔结构处理多模态输入：

• 视觉编码器：基于改进的Swin Transformer，关键创新在于：
  • 动态感受野调整（Dynamic Receptive Field）
  • 跨尺度特征融合（Cross-scale Feature Aggregation）
• 语言编码器：使用T5架构处理文本提示，通过：
  • 可学习的位置嵌入（Learnable Positional Encoding）
  • 概念注意力门（Concept Attention Gate）

两模态特征通过"门控交叉注意力"（Gated Cross-Attention）机制交互，公式表示为：

code复制GCA(Q,K,V) = σ(W_g·[Q;K]) ⊙ Softmax(QK^T/√d)V

其中W_g为可学习门控权重，⊙表示逐元素乘法。

2.2