jeremymoo1. 项目概述
在机器人导航领域，如何让机器人在长时间运行中有效利用历史数据一直是个棘手的问题。想象一下，一个在大型商场巡逻的安保机器人，当被问及"2小时前3楼东侧发生了什么异常"时，传统系统往往束手无策。这正是ReMEmbR系统要解决的核心痛点。
当前主流方案存在两个致命缺陷：一是Transformer架构的上下文窗口限制，无法处理数小时的视频历史；二是传统地图无法封装动态事件。就像人类无法记住一整天的每分每秒，机器人也需要一个智能的"记忆外挂"。
ReMEmbR的创新之处在于将检索增强生成(RAG)架构首次系统性地应用于机器人导航场景。它像给机器人装上了"海马体"，通过：
- 持续记录关键事件（记忆构建）
- 按需调取相关记忆（查询推理）
这套机制使得25分钟的视频处理延迟仅25秒，且不随视频长度增加而显著上升。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 系统架构设计
2.1 整体工作流程
系统采用经典的两阶段设计，犹如人的记忆形成与回忆过程：
记忆构建阶段（后台持续运行）
code复制视频流 → 分段处理 → VLM生成字幕 → 向量化存储
↑ ↑ ↑
3秒片段 VILA模型 mxbai-embed-large
查询阶段（按需触发）
code复制用户提问 → LLM解析意图 → 多维检索 → 综合推理 → 输出答案
↖______反馈循环______↙
2.2 核心组件选型
视觉语言模型(VILA)选择
经过对比测试，团队最终选用VILA1.5-13b作为字幕生成器。在Jetson Orin上实测数据显示：
- 13B版本：每3秒片段处理耗时约800ms
- 量化3B版本：耗时降至300ms，但准确率下降15%
实际部署时需要权衡：在计算资源受限的移动平台（如Nova Carter机器人）建议使用3B量化版，而在服务器端可选用13B完整版。
向量数据库设计
采用多模态嵌入策略，每个记忆条目包含：
python复制{
"text_embed": [0.12, -0.45, ...], # 768维语义向量
"pos_embed": [x,y,z],