1. 无人机自主3D扫描的技术突破
在野外环境中实现无人机的自主3D扫描,长期以来面临着一个看似简单却极具挑战性的问题:如何让无人机像人类操作员一样"聪明"地工作。传统方法要么需要大量人工干预(如预先定义3D边界框、手工分割或预设飞行路径),要么在复杂环境中表现不佳,导致扫描效率低下或结果不完整。
香港科技大学沈劭劼团队与南方科技大学周博宇团队等机构联合开发的FlyCo系统,通过将基础模型(Foundation Models)的语义理解能力与无人机自主系统相结合,实现了仅需文本描述和少量2D标注就能完成未知开放环境下的目标结构3D扫描。这项技术的核心价值在于:
- 降低操作门槛:用户只需提供类似"扫描那座山谷里的城堡"的文本提示,加上在图像上简单标注目标位置,系统就能自动完成后续所有工作
- 提升扫描效率:通过实时感知-预测-规划的闭环,无人机能够智能地围绕目标飞行,避免无效路径和重复扫描
- 增强环境适应性:系统能够处理复杂几何形状、遮挡和动态障碍物,在真实野外环境中表现稳定
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. FlyCo系统架构解析
2.1 感知-预测-规划闭环设计
FlyCo系统的核心创新在于构建了一个持续更新的感知-预测-规划闭环,而非传统的线性工作流程。这个设计解决了开放环境中目标结构可能被部分遮挡或周围环境复杂带来的挑战。
感知模块负责将用户的语义提示(文本+2D标注)与实时传感器数据对齐。系统使用RGB相机和LiDAR的融合数据流,通过基础模型在2D和3D空间同时追踪目标。这种多模态感知方式相比传统仅依赖几何信息的方法,能够更准确地识别语义上的目标结构,避免因形状不规则或环境干扰导致的误识别。
在实际测试中,即使用户提供的2D标注不够精确(如只点击了目标的一部分),系统也能通过语义理解自动扩展和修正目标区域,显著降低了操作难度。
预测模块则专注于"脑补"目标结构的完整形态。它基于当前观测到的部分几何,结合视觉和文本线索,预测未被看到的部分。这个预测不是一次性的,而是随着无人机飞行不断收集新数据而持续更新。关键技术包括:
- 多模态特征编码与融合
- 基于注意力的形状补全
- 自适应几何加密(densification)
- 部分表面一致性约束
规划模块采用分层设计,上层基于预测结果生
