大模型进入健康咨询领域之后,我一度觉得这个方向被玩坏了。原因很简单:用户拿着AI给的答案去处理真实健康问题,而AI根本不知道自己在说什么。某次测试里,我连续问了同一个症状在不同年龄、不同基础疾病下的表现,模型给出的建议几乎没变,语气却一个比一个笃定。那一刻我就意识到,AI健康产品的核心矛盾根本不是“够不够聪明”,而是“敢不敢承认自己不知道”。
悦尔APP这个项目,算是我们团队对这类问题的一次正面回应。产品不做“更聪明的助手”,改做“更可靠的专业工具”——宁可回答得保守一点,也要确保每句话有来源、每个判断有边界、每条建议有兜底。这篇文章我会把项目背后的设计思路、对抗“幻觉”的具体机制、以及执行过程中的取舍和坑,按照真实的推进顺序梳理一遍。适合正在做AI健康产品、或者想给大模型加上“专业约束”的团队参考;如果你只是好奇为什么AI健康问答总让人半信半疑,这篇也能帮你看清问题出在哪。
1. AI健康“幻觉”的本质:模型不是不懂,是根本不知道自己不懂
1.1 概率生成机制下,不存在“确定答案”这回事
要对抗幻觉,首先得理解大模型为什么会在健康问题上屡屡犯错。从技术底层看,大模型的回答机制本质上是一个概率游戏:它根据你的提问,逐词预测最可能出现在当前位置的下一个token,然后一路生成下去。这个过程和“查资料后给出结论”完全不同——模型内部没有一个知识库字段,也没有对“正确”和“错误”的绝对判断,它只是在生成一个“在统计意义上最像回事”的文本序列。
这在普通对话里不是问题,因为误差成本低:AI胡扯一句“北京今天有雨”,你顶多出门多带把伞。但在健康场景里,这个误差可能被直接放大成一次错误用药、一次延误就医、一次本可避免的过度恐慌。我们内部常常用一个类比:普通场景的幻觉是导航多绕一公里,健康场景的幻觉是导航把你带进河沟里。前者浪费时间,后者伤及性命。
所以在悦尔的项目评审会上,我们定了第一条铁律:模型可以不够聪明,但绝不能让用户感觉到“它在我命相关的问题上还在瞎编”。技术选型上,也不再以“对话流畅度”“逻辑连贯性”为首要KPI,而是把“信息可溯源率”“建议边界准确率”“风险识别召回率”列为决定版本能否上线的关键闸门。
1.2 健康语境下的误差成本被几何级数放大
还有一点值得单独拿出来说:健康信息的误差成本和普通信息的误差成本,不是同一个量级,而是代际差异。搜错一家餐厅,损失一顿饭;搜错一个产品参数,损失一次购物选择;但搜错一条健康建议,损失的可能是身体恢复窗口期、是病情恶化前的干预时机,甚至是一个家庭对医疗系统的信任感。
另一个被低估的问题是:AI的“专业语气”会极大提升用户对错误内容的接受度。心理学上有个概念叫“权威偏见”,用户在面对一个措辞谦和、逻辑连贯、带着详细解释的AI回答时,倾向于把内容当成经过验证的专业意见。悦尔团队做过一轮匿名访谈,有相当比例的用户表示“AI建议看起来太专业了,所以没想过再去医院确认”。这句话让我们后背发凉——内容越流畅,可能越危险;回答越完整,用户警惕性越低。
这就是为什么,悦尔的核心设计理念不是“让AI更会说话”,而是“让AI不敢乱说话”。与其训练模型把回答包装得滴水不漏,不如在机制上强制它的每一条输出都经过约束、过滤、溯源和降权。接下来我要讲的,就是这套机制具体怎么落地。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 从“聪明助手”到“可靠工具”:悦尔产品定位的彻底转向
2.1 产品语言的改变:准确、可溯源、可解释,这些词成了UI文案的核心
产品定位的转变,最直观的体现是在用户界面和提示语上。早期版本的悦尔,界面上的引导语是“问问AI,快速了解你的健康疑惑”这类偏“智能助理”的表达。上线测试两周后,我们砍掉了所有类似文案,改成“基于可信医学资料的信息参考”和“AI建议仅供决策辅助,不能替代线下诊断”。
别小看这些措辞变化。它不只是在做风险提示,而是在重新定义用户与产品的关系——你是一个辅助决策的“参考工具”,不是一个替你拍板的“贴身医生”。工具意味着什么?意味着它有适用边界、有误差范围、有使用说明书。用户对你的预期从“给出正确答案”降为“给出可靠参考”,这个预期差本身就是治疗幻觉副作用的第一味药。
同时,我们把展示逻辑也改了。以前AI回答是一大段连续输出,现在变成了结构化卡片式输出:每条结论后紧跟来源条目、相关度评分、信息更新时间戳。如果某条结论证据较强,卡片会标注“多条高质量来源支持”;如果证据不足,卡片会显示“当前信息有限,仅供参考”。用产品语言把“可信度”直接端到用户面前,而不是让用户自己去猜哪些话靠谱。
2.2 智能指标的重定义:不再追求“自然”,转而追求“有分寸”
更深一层的转变,体现在模型评估体系的构建上。传统AI评估指标里,流畅度、相关性、有用性占了很大权重。但悦尔重新定义了产品的“三个核心指标”,每个都围绕“信任和约束”展开:
第一个是结论稳定性——同一个问题用10种不同问法提问,模型给出的核心结论应保持一致,不能因为措辞变化就得出相互矛盾的建议。第二个是信息溯源覆盖率——模型生成的每一条健康结论,都必须能关联到至少一个可信医学来源。第三个是风险告知完整率——涉及潜在危险症状或不确定信息时,是否主动给出风险提示和就医指引。
这三个指标有个共同特点:它们都不可通过“模型变聪明”来解决,必须在产品机制和系统架构层面强制实现。这也决定了悦尔的技术路线不会只靠调参,而是要靠一整套分工明确的“可信度管线”。下面这部分是全文最核心的实操内容——我们如何在真实链路中建立三道防线。
3. 三道防线:检索、降权、兜底机制如何在实际链路中落地
3.1 第一道防线:检索是知识的“安检门”,先限定信息源再谈生成
我们给悦尔的健康问答做了一条硬性规定:任何健康相关的结论性输出,必须以检索结果为基础,不允许模型“自由凭记忆”作答。这里的“检索”不是普通的关键词召回,而是限定在医学白名单内的定向检索。
白名单里有什么?有权威医学百科、临床指南摘要、药品说明书、疾控中心公开资料等结构化和半结构化的内容,我们统一做了清洗、切块、索引,并给每个文档块标注了“证据等级”字段——例如“临床指南”证据等级高,“科普文章”等级中等,“论坛二手经验”一律不进库。所有检索入口只允许查询这份白名单,从源头掐断模型胡编乱造的输入素材。
这项工作占了项目启动阶段一半以上的时间,因为整理医学资料的难度不在“找”,而在“筛”和“标”。一份临床指南有大量针对于特定人群的用药建议,如果不做人群标签,模型很容易把成人剂量推到儿童场景上。我们在索引阶段就给每个知识块打上了“人群适用标签”和“症状关联标签”,确保检索结果在进入生成环节前,已经完成第一轮相关性过滤。
3.2 第二道防线:置信度降权与风险分级,让模型学会“说话留余地”
单靠检索还不够,因为同一个检索结果可以被模型解释出不同方向。第二道防线的作用是:对生成内容做置信度评估和风险分级,自动调节回答的“语气强度”。
具体做法是:检索回传的内容块,会先经过一个独立的置信度判别模块,综合“证据等级”“来源数量”“内容一致性”三个维度给出一个0到1之间的置信分。结论生成不是直接吐给用户,而是先经过一个后处理层——置信分高于0.8的内容,允许用肯定语气输出,比如“多项指南建议……”;置信分在0.5到0.8之间,强制加入“目前证据有限”“需结合个人情况”等限定词;置信分低于0.5的内容,直接不输出结论,改为反问更多细节或建议就医。
这个机制在用户体验上会产生一个非常有意思的效果:用户会感觉悦尔“很谨慎”,甚至有点“太爱说不知道”。有一次灰度测试,有用户反馈“问它一个症状,它反问我三天了还没给答案”,但同批用户中,另外一部分人却把“会追问、不乱下结论”列为了最满意特性。这个分化结果验证了我们的判断——你要服务的是那些真正把健康当回事的人,而不是只想找个AI听安慰的泛用户。
3.3 第三道防线:兜底机制与“何时该说不知道”的边界设计
第三道防线是整套管线里最容易被忽略、却最重要的部分:定义模型“什么时候必须闭嘴”。我们设计了一个预约规则:一旦用户的描述涉及急症指征、高危人群、相互作用的用药组合等敏感模式,系统自动切换到“就医引导模式”。
在这个模式下,模型不会给出任何处置建议,只会输出三样东西:可能的急症风险提示、建议就诊的科室类型、以及为什么需要尽快就医的简短解释。例如用户描述“胸痛伴随大汗淋漓”,系统会直接提示“该症状组合具有急症特征,建议立即前往急诊或拨打急救电话”,而不是试图分析“可能的原因有哪些”。
这套兜底机制本质上是把“不伤害原则”落到了产品逻辑里。我们内部有一句话说得很直白:AI如果在99个普通问题上答对了,那不算本事;但如果它在1个高危问题上敢承认“我不能处理”,那才是这个产品真正的价值所在。底线守住了,信任才有起点。
4. 信任重建的两条路径:透明化设计与风险前置告知
4.1 让用户“看见”答案为什么可靠,而不是只告诉他答案
健康场景的信任,和电商场景的信任不太一样。你买一个手机壳,看到销量十万、好评如潮,可能就下单了;但面对一条健康建议,用户需要的不是“别人都说好”,而是“凭什么是这样”。这意味着产品必须在信息呈现上做到透明化——把判断依据摊开给用户看。
悦尔的每条健康结论卡片,下方都设置了“查看依据”按钮。点开后,用户能看到这条结论关联的具体资料标题、发布时间、证据等级、以及我们判定它适用于该情境的理由。如果答案是“基于某指南的推荐方案”,用户能看到指南名称和对应章节摘要;如果答案是“基于多条科普稿件的综合判断”,用户同样能看到每条稿件的出处和发布时间,理解信息的老旧程度。
这种设计一开始被部分团队成员认为是“过度设计”——用户来看答案,谁还有空去点依据?但灰度测试的数据打了我们的脸:点击查看依据的比例高达27%,而且查看过依据的用户,其后续7日内回访率和问题满意度都明显高于未查看用户。这说明在健康领域,用户远比我们想象的更想要“参与感”和“掌控感”。他们愿意为“看得懂的可靠”多花几秒钟。
4.2 风险提示前置:与其事后免责,不如事发前预警
很多AI产品会把免责声明塞在用户协议里,甚至放在对话框最底部小字,用户根本看不到。悦尔的选择反了过来:风险提示是回答内容的一部分,而不是边角文字。
具体到实现上,我们设计了一套风险分级标签体系。系统在输出结论前,会对答案打上风险标签:低风险(生活建议类,如饮水状态、作息调整)、中风险(涉及症状解读或用药信息,必须附就医咨询提醒)、高风险(涉及急症特征,直接切换到就医引导模式)。对应地,答案卡片会显示不同颜色和措辞等级的风险提示条。
这个机制的底层逻辑是:**风险提示不是用来保护产品免受诉讼的,而是用来保护用户免受误导的。**如果产品只想着“免责”,提示就会做得很隐蔽,因为怕影响转化率;如果产品把“用户安全”当作核心价值,提示就会做得很显眼,因为安全本身就是最好的转化率。悦尔的实践证明,显眼的风险提示并没有导致用户流失,反而提升了用户对产品的信任评价——用户需要的是一个“会为我想”的产品,而不是一个“会把责任推给我”的产品。
5. 边界感与务实建议:健康类AI产品,哪些功能不该碰
5.1 结合多轮追问判断信息完整度,别让“一句话结论”泛滥
做健康AI最容易犯的错,是用户只给一句话描述,模型就给出一个完整结论。这本质上是一种对用户的“不负责任的迎合”——因为用户想要答案,所以模型就给答案,哪怕信息严重不足。
悦尔在交互层做了一个强制约束:当用户描述信息少于三个维度(比如只有“嗓子疼”三个字,缺少持续时间、伴随症状、基础疾病),系统不会直接给结论,而是先追问补充信息。在用户补充完整之前,模型最多只能输出“与以下几种常见情况可能相关,建议进一步提供XX信息以便缩小范围”的干预性回答。这个设计上线后,初答长度明显变短,但追问后的最终结论准确率提升了近三成。牺牲一点“第一次就给答案”的爽感,换来的是“更接近真实情况”的专业感,这个取舍我们认为是值得的。
5.2 给同行团队的几条可落地建议:边界感不是口号,是系统设计出来的
文章最后,把项目过程中沉淀下来的几条核心经验送给正在做类似方向的朋友:
**第一,所有训练和微调前提必须建立在“可信语料”上,不要贪多图快喂全网数据。**健康问答的质量上限,由知识库下限决定;知识库脏了,模型再聪明也是白搭。**第二,建立证据分级体系比提升生成效果更紧迫。**先定义什么是“好答案”,再讨论如何让模型生成“好答案”。**第三,把“不知道”设计成一种一等公民能力。**不要让模型只能选择“说”或“编”,要给出一条受控的、结构完整的“沉默路径”。**第四,风险提示文案必须像写药品说明书一样严谨。**每一句话都要经过医学审核,不能只是“如有不适请就医”的敷衍套话。
悦尔这个项目的经验验证了一件事:AI健康产品不是问“模型能做什么”,而是问“模型在什么条件下才被允许做什么”。边界感不是一句口号,它必须通过数据白名单、反馈线、置信度降权、兜底路由等一系列系统工程,才能真正长在产品里。
我在实际项目复盘时说过一句感受:看到用户评价里出现“它至少会提醒我哪些情况该立刻去医院”这种反馈,比任何技术指标的提升都要让人安心。技术在往前跑,但健康领域的AI产品更需要的是“稳稳地站在地上”——知道自己是谁、知道什么能做、更知道什么不能做。悦尔还谈不上完美,但它至少证明了一件事:AI健康产品,是可以做到既专业又值得信任的。
