1. 彻底分清固定prompt、Agent和Skill的核心逻辑
作为一名长期在AI领域实践的开发者，我发现很多刚接触大语言模型的朋友都会被"Agent"这个概念搞糊涂。今天我就用最接地气的方式，结合自己开发小说转短视频Agent的实际经验，把这三个关键概念讲透。
1.1 基础概念的三元关系
固定prompt、Agent和Skill这三者的关系，可以用一个餐厅后厨的比喻来理解：
- 固定prompt就像顾客点的单道菜指令："来份宫保鸡丁"
- Agent则是整个餐厅的运营系统，能理解"办一桌商务宴请"这样的复杂需求
- Skill就是厨房里的各种厨具和厨师技能：炒锅、蒸笼、刀工等
我在开发小说转短视频Agent时，深刻体会到这三者的协同价值。单纯用固定prompt，每次都要手动输入"总结这段"、"生成角色"等指令；而有了Agent+Skill的组合，只需说"把这部小说做成10集动漫"，它就能自动完成从阅读理解到视频分镜的全流程。
1.2 技术实现的层级架构
从技术实现角度看，这三者构成了一个清晰的层级：
- 底层是各种Skill：独立的Python函数或API
- 中间层是Agent：用特定prompt定义的决策逻辑
- 表层是固定prompt：临时的单次指令
以我的项目为例，技术栈是这样搭建的：
python复制# Skill层示例
def generate_character(description):
# 调用SDXL模型生成角色图像
...
def summarize_text(text):
# 调用LLM进行文本摘要
...
# Agent层prompt示例
agent_prompt = """
你是一个小说转视频的专家，工作流程：
1. 完整阅读输入小说
2. 用generate_character生成主要角色
3. 用summarize_text提取关键情节
4. 将情节分成10个视频片段
5. 为每个片段生成分镜脚本
"""
2. 固定prompt与Agent的本质区别
2.1 从生活场景看差异
最直观的区别体现在交互模式上。去年我帮朋友开发了一个电商客服Agent，期间深刻体会到：
固定prompt就像ATM机：
- 只能执行预设的固定操作
- 每一步都需要用户明确指令
- 遇到异常就直接卡住
Agent则像银行柜员：
- 能理解"我想理财"这样的模糊需求
- 会主动询问风险偏好等缺失信息
- 遇到问题能自主寻找替代方案
2.2 技术实现的关键差异
在代码层面，两者的核心区别在于状态管理：
python复制# 固定prompt典型实现
response = llm.generate("总结这段文本:" + text)
# Agent典型实现
class NovelToVideoAgent:
def __init__(self):
self.state = "start" # 维护状态机
self.characters = [] # 记忆角色
def process(self, input):
if self.state == "start":
self.summary = summarize_text(input)
self.state = "generating_characters"
elif self.state == "generating_characters":
# 状态感知的连续处理
...
Agent通过维护内部状态和记忆，实现了连续决策能力，这是固定prompt无法做到的。
3. Agent开发中的prompt设计技巧
3.1 角色定义模板
开发有效的Agent，prompt设计是关键。我总结出一个实用的模板：
code复制你是一个[角色]专家，具有以下能力：
核心目标：[明确最终产出]
工作流程：
1. 第一步要做什么
2. 第二步判断标准
3. 异常处理原则
记忆规则：
- 需要长期记住的信息
- 需要保持一致性的内容
交互方式：
- 如何向用户确认信息
- 如何报告进度
例如我的小说Agent是这样定义的：
code复制你是一个资深动漫制作人，目标是将小说转为10集短视频。
工作流程：
1. 首先完整分析小说的人物和剧情结构
2. 为每个主要角色生成并固定形象
3. 按起承转合分成10个段落
...
3.2 多轮对话设计
好的Agent prompt要预设对话路径：
code复制当用户说[需求A]时，你应该：
1. 先确认[关键信息]
2. 然后提供[选项]
3. 最后给出[建议]
当遇到[异常B]时：
1. 先检查[可能原因]
2. 尝试[解决方案C]
3. 如果失败则[回退方案D]
4. Skill的开发和集成实践
4.1 Skill的典型分类
在我的项目中，Skill主要分为三类：
-
信息提取类：
- 实体识别
- 关系抽取
- 情感分析
-
内容生成类：
- 图像生成
- 文本续写
- 语音合成
-
逻辑判断类：
- 质量评估
- 一致性检查
- 合规审查
4.2 Skill的接口设计
良好的Skill接口应该：
- 输入输出明确
- 有完善的错误处理
- 包含性能指标
例如我的角色生成Skill：
python复制def generate_character(
description: str,
style: str = "anime",
max_retry: int = 3
) -> tuple[Image, dict]:
"""
生成角色图像
参数：
description: 角色文字描述
style: 生成风格
max_retry: 最大重试次数
返回：
(图像, 元数据)
元数据包含生成耗时、模型版本等信息
异常：
ValueError: 描述不符合要求
TimeoutError: 生成超时
"""
...
5. 实战中的经验与避坑指南
5.1 常见问题排查
在开发过程中，我遇到过这些典型问题：
-
Agent陷入死循环：
- 现象：反复询问相同问题
- 解决：在prompt中明确"每个问题只问一次"
-
Skill调用混乱：
- 现象：错误调用不匹配的Skill
- 解决：为每个Skill添加严格的输入校验
-
状态丢失：
- 现象：忘记之前生成的角色
- 解决：实现持久化记忆存储
5.2 性能优化技巧
经过多次迭代，我总结出这些优化方法：
- Skill预热：
python复制# 服务启动时预加载模型
preloaded_models = {
'summary': load_summary_model(),
'image': load_image_model()
}
- 结果缓存：
python复制from functools import lru_cache
@lru_cache(maxsize=100)
def generate_character(description, style):
...
- 异步处理：
python复制async def process_chapter(text):
summary = await summarize_async(text)
...
6. 进阶开发模式
6.1 多Agent协作系统
对于复杂任务，可以设计多个Agent协同工作。在我的视频生成系统中：
- 主控Agent：负责整体流程
- 角色Agent：专门处理人物相关任务
- 场景Agent：管理场景转换和镜头设计
它们通过消息队列进行通信：
python复制class SceneAgent:
def __init__(self):
self.rabbitmq = connect_queue()
def handle_message(self, msg):
if msg['type'] == 'new_scene':
self.process_scene(msg['content'])
6.2 动态Skill加载
高级Agent可以实现Skill的热加载：
python复制def load_skill(skill_path):
spec = importlib.util.spec_from_file_location(
"skill", skill_path)
module = importlib.util.module_from_spec(spec)
spec.loader.exec_module(module)
return module.Skill()
这种架构使得Agent能力可以动态扩展。
7. 效果评估与迭代
7.1 评估指标体系
我建立的评估维度包括：
- 任务完成度
- 结果一致性
- 异常处理能力
- 耗时指标
具体通过测试用例验证：
python复制def test_character_consistency():
# 生成10次相同角色
images = [generate_character(desc) for _ in range(10)]
# 计算相似度
assert similarity(images) > 0.9
7.2 持续改进流程
建立迭代闭环：
- 收集实际使用数据
- 分析失败案例
- 调整prompt或Skill
- AB测试验证
例如发现角色一致性不足后，我增加了记忆强化prompt：
code复制必须严格保持角色形象一致性：
- 一旦确定形象就不可更改
- 所有后续生成必须参考初始形象
- 不一致时必须提示警告
经过这些实践，我深刻体会到Agent开发的要点在于：用prompt定义好"思考方式"，用Skill提供"执行能力"，通过精心设计使它们成为一个有机整体。这种开发模式相比传统编程，更需要对人机交互的理解和设计能力。