1. 为什么需要AI产品经理这个角色?
当大语言模型(LLM)从实验室走向商业应用时,一个关键问题浮出水面:技术团队开发的模型功能强大,但用户真正需要什么?市场在哪里?如何设计符合人类直觉的交互?这就是AI产品经理(AI PM)的用武之地。
我在参与某金融行业对话系统项目时深有体会。工程师们开发了一个能处理复杂SQL查询的LLM,但银行柜员反馈"根本不知道该怎么问问题"。直到AI PM介入,将技术能力拆解为"信用卡逾期查询""转账记录追溯"等具体场景,并设计出带选项的对话引导模板,产品使用率才从12%飙升到89%。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 大语言模型产品的特殊性
2.1 技术不确定性与概率化输出
传统软件的输出是可预测的:点击"保存"按钮必定触发存储操作。但LLM不同,当用户问"帮我写份商业计划书"时,模型可能生成20页详实报告,也可能返回3条要点——这种不确定性需要产品设计时建立容错机制。我们常用的策略包括:
- 设置输出长度滑块控件
- 提供"重新生成"按钮并记录历史版本
- 对关键场景(如法律文书)添加人工复核环节
2.2 提示词工程即交互设计
在传统APP中,交互设计师关注按钮位置和动效;在LLM产品中,核心交互变成了提示词(prompt)设计。某电商客服机器人项目初期,用户直接输入"衣服有问题",模型无法理解具体诉求。我们通过以下优化将解决率提升62%:
- 预置结构化提问模板("请说明是尺寸/颜色/质量问题")
- 实现多轮对话记忆(自动关联订单信息)
- 添加示例问题气泡(点击即可发送完整查询)
3. AI PM的核心能力框架
3.1 技术理解力
不需要会调参,但必须掌握关键概念:
- Tokenization如何影响计费(中文1token≈2字符)
- 温度系数(temperature)对创造力的影响
- RAG与微调的适用场景对比(知识更新频率vs成本)
3.2 场景挖掘能力
优秀AI PM能发现"隐形需求"。我们曾为某律所开发合同审查工具,最初聚焦于条款识别。通过观察律师工作流,发现他们更需要在审查后自动生成风险说明邮件——这个洞察使产品溢价30%。
3.3 评估体系构建
不同于传统产品的UV/PV,LLM产品需要特殊指标:
- 平均对话轮次(衡量任务完成效率)
- 人工接管率(识别模型薄弱环节)
- 用户修正频率(优化提示词设计)
4. 典型工作流示例
以开发"智能招聘助手"为例:
4.1 需求定义阶段
- 技术调研:确认LLM能否理解JD与简历的匹配逻辑
- 用户访谈:发现HR更关心"为什么推荐这个人"而非简单匹配度
- 风险评估:制定防止歧视性语言的过滤规则
4.2 原型设计阶段
- 设计系统prompt:"你是一名资深HR,需要从以下维度分析匹配度..."
- 构建评估数据集:200份真实简历与岗位的专家评分
- 设计解释模块:要求模型用"技能契合度""项目相关性"等维度说明推荐理由
4.3 上线迭代阶段
- A/B测试不同温度参数(0.3 vs 0.7)
- 监控异常查询(如用户上传非简历文件)
- 建立bad case分析机制(每周review 3%的失败案例)
5. 避坑指南:新手常犯的5个错误
-
过度依赖模型能力
某团队直接让LLM处理用户投诉,结果模型偶尔会生成道歉信承认不存在的错误。正确做法是设定明确边界:仅处理FAQ类问题,复杂投诉转人工。 -
忽视数据飞轮效应
没有设计用户反馈闭环的系统,模型无法持续优化。我们在客服系统中添加"回答是否解决您的问题?"的评分按钮,3个月后准确率提升19%。 -
混淆准确率与可用性
法律咨询机器人达到92%准确率,但用户发现错误后彻底弃用。后来我们改为在不确定时显示"建议咨询专业律师",信任度反而提升。 -
低估计算成本
允许用户上传100页PDF做摘要,导致API调用成本失控。最终改为"前10页免费,完整文档需订阅"的商业模式。 -
缺乏伦理审查
社交APP的AI伴侣功能意外产生诱导性言论。现在我们会预先列出禁止话题清单,并设置实时内容过滤层。
6. 工具链与协作模式
6.1 必备工具包
- Prompt调试:Promptfoo(可视化测试不同提示词效果)
- 日志分析:LangSmith(追踪模型推理过程)
- 评估平台:Ragas(量化生成质量)
6.2 跨团队协作要点
- 与算法工程师沟通:用"我想验证这个假设..."替代"你们能不能做..."
- 与标注团队协作:提供详细的标签定义文档(如"什么是积极的客服语气")
- 与合规部门配合:提前准备模型偏差检测报告
在实际项目中,最有效的协作方式是定期举行"案例研讨会"——随机抽取20条真实用户交互记录,各角色共同分析改进方案。这种方式比抽象的需求文档效率高3倍以上。
7. 职业发展建议
从传统PM转型AI PM,建议分三步走:
- 认知构建:通过OpenAI Cookbook等资源理解基础技术原理
- 小步实践:用GPT Builder等工具亲手创建几个AI应用
- 专项突破:选择垂直领域(如医疗、金融)深耕行业知识
有个很实用的学习方法:每周分析1个热门AI产品的交互设计。比如Notion AI的"//"快捷指令,或是Midjourney的prompt建议系统,这些细节往往蕴含宝贵的设计哲学。
