1. 项目概述:IBISAgent框架的核心创新
在生物医学图像分析领域,细粒度分割一直是个棘手的挑战。传统方法依赖专家标注员通过多轮观察、点击调整来精确定位病灶边界,而现有AI模型却采用"单次前向推理"的粗暴方式。这种割裂正是IBISAgent要解决的核心问题——让AI像人类专家一样思考。
这个来自浙江大学与上海人工智能实验室的团队,创造性地将分割任务重构为多步马尔可夫决策过程(MDP)。想象一位放射科医生的工作流程:先整体扫描CT图像,用鼠标在疑似肿瘤区域点击几个关键点,观察初步分割结果,再针对不准确的边缘补充点击... IBISAgent完美复现了这一过程,其突破性体现在三个层面:
1)架构革新:彻底摒弃了会损害语言能力的隐式分割token,转而采用纯文本指令控制交互式分割工具MedSAM2。模型通过自然语言描述当前分割状态(如"左肺下叶结节边缘模糊"),并输出结构化点击指令(坐标+正负样本标记),形成"观察-思考-行动"的闭环。
2)训练范式:独创的两阶段训练方案。先用自动生成的45.6万条专家轨迹教会模型基础操作(类似医学生的规培),再通过强化学习让模型自主探索更优策略(类似主治医师的临床经验积累)。特别设计的区域点击奖励机制,确保每次点击都精准落在语义关键区域。
3)性能表现:在涵盖CT、MRI、病理等5种模态的测试集上,平均分割精度(DSC)提升37.58%,交互步数压缩62%。更惊人的是,面对训练集未见的癌症类型,模型通过自主推理仍能保持85%以上的分割准确率。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术深潜:多模态Agent的运作机理
2.1 决策闭环的工程实现
IBISAgent的每一步交互都是个精密调控的微循环:
python复制# 伪代码展示核心决策流程
for step in max_steps:
visual_input = concat(original_image, current_mask) # 拼接原图与当前分割结果
textual_prompt = "分析当前分割质量并给出改进建议"
# 模型同时输出文本推理与点击指令
reasoning, clicks = mllm.generate(visual_input, textual_prompt)
# 执行点击动
