淘房记1. 项目概述：当校园问答遇上大模型
去年在帮母校信息化办公室做技术咨询时，发现一个有趣现象：学校官网的智能客服系统每天要处理近2000条咨询，但超过60%的问题集中在"图书馆开放时间"、"成绩查询流程"这类基础信息。更麻烦的是，每逢选课季系统就会崩溃，大量重复咨询让人工客服应接不暇。这促使我开始思考：能否用当下最火的ChatGLM-6B大模型，结合Prompt工程打造一个真正懂校园场景的智能问答系统？
不同于通用聊天机器人，校园场景对问答系统有三项特殊要求：首先，回答必须100%准确（比如考试时间绝不能出错）；其次，要理解教育领域的专业术语（如"GPA换算"、"跨专业选修"）；最后，需要对接校内多个数据系统（教务、图书馆、后勤等）。传统规则引擎难以应对这种复杂需求，而大模型+Prompt工程的组合恰好能解决这些痛点。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术选型：为什么是ChatGLM-6B + Prompt工程？
2.1 大模型选型对比
在测试了Llama2-13B、Bloomz-7B等多个开源模型后，最终选择ChatGLM-6B主要基于三点考量：
- 显存占用：在RTX 3090（24GB显存）上，6B参数模型推理时显存占用约13GB，而13B模型需要超过24GB，不适合常规部署
- 中文表现：在C-Eval中文评测集中，ChatGLM-6B的准确率比同尺寸模型高15%以上
- 微调成本：使用LoRA微调时，6B模型完整训练周期仅需8小时（A100*1）
实测数据：处理"如何申请缓考"这类长问题时，ChatGLM-6B的平均响应时间为2.3秒，而基于BERT的传统模型需要5.7秒
2.2 Prompt工程的价值
通过精心设计的Prompt，我们实现了：
- 准确率提升：将"图书馆开放时间"这类事实型问题的错误率从12%降到3%
- 多轮对话：支持上下文关联问答（如先问"选课时间"，再问"冲突课程怎么办"）
- 安全防护：自动过滤不当提问（如"怎么改成绩"）
核心Prompt结构示例：
python复制system_prompt = """
你是一名专业的校园事务顾问，请根据以下规则回答问题：
1. 只提供真实准确的校园信息
2. 不确定时回答"建议咨询教务处"
3. 拒绝回答与校园无关或违规问题
当前知识库版本：2024-03-01
支持查询：选课|成绩|图书馆|宿舍|奖学金
"""
3. 系统架构设计
3.1 整体架构图
mermaid复制graph TD
A[用户提问] --> B(输入预处理)
B --> C{Prompt引擎}
C -->|基础问题| D[ChatGLM-6B]
C -->|需查数据| E[API网关]
E --> F[教务系统]
E --> G[图书馆系统]
D --> H[回答生成]
H --> I[输出过滤]
I --> J[用户]
3.2 关键组件实现
3.2.1 混合检索模块
采用"向量检索+关键词匹配"双路召回：
python复制def hybrid_search(question):
# 关键词匹配（处理精确查询）
keyword_results = search_knowledge_base(question)
# 向量检索（处理语义查询）
embedding = model.encode(question)
vector_results = vector_db.search(embedding)
# 融合策略
if keyword_results.score > 0.9:
return keyword_results
else:
return rerank(keyword_results + vector_results)
3.2.2 动态Prompt生成
根据问题类型自动调整Prompt：
python复制def generate_prompt(question):
prompt_template = ""
if "流程" in question:
prompt_template += "请分步骤说明，每个步骤用★标记\n"
if "时间" in question:
prompt_template += "注意：所有时间信息必须来自2024年校历\n"
return system_prompt + prompt_template
4. 落地实践中的经验总结
4.1 效果优化技巧
- 领域术语强化：在Prompt中加入50个校园高频词（如"GPA"、"素拓分"）的明确定义
- 拒绝艺术：对"怎么改成绩"这类问题，设置标准化拒绝话术
- 缓存机制：对"图书馆开放时间"等高频问题，缓存回答可降低80%的模型调用
4.2 常见问题排查
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
| 回答内容过时 | 知识库未更新 | 建立每周自动更新机制 |
| 响应速度慢 | GPU显存不足 | 开启8bit量化推理 |
| 多轮对话混乱 | 上下文丢失 | 增加对话状态跟踪 |
4.3 性能实测数据
在DELL R740服务器（A100*2）上的测试结果：
- 并发能力：支持50+同时在线咨询
- 响应时间：简单问题<1s，复杂问题<3s
- 准确率：事实类问题98%，流程类问题92%
5. 扩展应用场景
这套方案稍作修改就能适用于：
- 企业HR问答：替换为员工手册、考勤制度等知识库
- 政务咨询：对接政策法规数据库
- 电商客服：结合商品知识图谱
最近我们正在尝试加入语音交互功能，让系统能处理电话咨询。一个有趣的发现是：当Prompt中加入"请用口语化表达"的指令时，用户满意度会提升22%。这再次证明了Prompt工程在大模型应用中的杠杆效应——有时候，改变几个词就能获得质的飞跃。