1. 项目背景与设计初衷
每年春节前夕,家家户户门前都会贴上崭新的春联。这些红纸黑字的对联不仅承载着人们对新年的美好祝愿,更蕴含着深厚的文化内涵。然而在实际生活中,我们往往只是匆匆一瞥,很少真正去理解其中的平仄格律、典故出处和意境表达。
这个项目的灵感来源于我个人的真实经历。记得去年陪父亲选购春联时,他在摊位前反复比较了十几副对联,却始终难以抉择。当我问起选择标准时,父亲只能含糊地说"感觉这副更顺口"。这让我意识到,普通人在面对春联时存在几个典型痛点:
- 鉴赏门槛高:大多数人缺乏专业的文学训练,难以判断对联的平仄是否工整、对仗是否严谨
- 文化断层:现代人对传统典故了解有限,往往错过对联中的精妙用典
- 创作困难:想要定制一副贴合自家情况的春联,需要同时具备文学素养和书法功底
基于这些观察,我决定利用Rokid AI眼镜打造一个"春联智能助手",通过增强现实技术降低春联鉴赏与创作的门槛。系统需要实现三个核心目标:
- 即时赏析:扫一眼就能获取专业级的对联分析
- 个性创作:根据家庭特点生成专属对联
- 文化传承:以直观方式呈现传统文学知识
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术架构设计
2.1 整体系统架构
系统采用三层分布式架构,充分发挥各端优势:
code复制眼镜端(Edge) 手机端(Hub) 云端(Cloud)
┌─────────────┐ ┌─────────────┐ ┌─────────────┐
│ 图像采集 │ │ 图像预处理 │ │ OCR识别 │
│ AR展示 │←──→│ 会话管理 │←──→│ AI分析 │
│ 语音交互 │ │ 离线缓存 │ │ 大模型推理 │
└─────────────┘ └─────────────┘ └─────────────┘
这种架构设计主要考虑了以下因素:
- 计算负载分配:眼镜端算力有限,适合做轻量级的图像采集和AR渲染,重度的OCR和AI分析放在云端
- 网络适应性:春节期间网络环境复杂,手机端作为中间层可以缓存最近结果,提供离线降级方案
- 交互便利性:眼镜的第一视角操作最符合"扫一眼"的使用场景,不需要额外掏出手机
2.2 核心技术选型
经过多轮技术验证,最终确定的核心技术栈如下:
| 模块 | 技术方案 | 选型理由 |
|---|---|---|
| 设备通信 | CXR-M SDK(蓝牙+Wi-Fi P2P) | 官方SDK提供稳定的设备连接和数据传输能力 |
| 文字识别 | 云端OCR + 本地MiniOCR | 云端OCR精度高,本地OCR作为离线备用 |
| 内容分析 | 灵珠AI大模型(Qwen-72B) | 在传统文化理解方面表现优异,支持长文本解析 |
| AR渲染 | CXR-M CustomView | 支持灵活的界面自定义,可模拟竖排文字效果 |
| 语音交互 | CXR-M TTS + ASR | 集成度高,支持离线语音指令 |
| 数据缓存 | SQLite + Room | 轻量级,适合存储本地对联词库和最近识别记录 |
特别值得一提的是竖排文字识别的优化方案。传统OCR主要针对横排文字设计,直接应用于春联识别时准确率不足60%。我们通过以下改进将准确率提升至85%以上:
- 图像预处理:自动矫正倾斜角度(±30°范围内)
- 分栏处理:先检测并分离左右两联,再分别进行竖向识别
- 字体增强:针对书法字体特别优化的笔画增强算法
3. 核心功能实现
3.1 春联识别全流程
完整的识别流程包含以下几个关键步骤:
-
图像采集:
- 用户短按眼镜AI键触发拍照
- 使用1920×1080分辨率,90°视场角确保对联完整入镜
- 自动检测环境光线,动态调整曝光参数
-
图像预处理:
python复制def preprocess(image):
# 灰度化
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
# 倾斜矫正
angle = detect_skew_angle(gray)
rotated = rotate_image(gray, angle)
# 分栏切割
left_col, right_col = vertical_split(rotated)
# 笔画增强
left_enhanced = stroke_enhance(left_col)
right_enhanced = stroke_enhance(right_col)
return left_enhanced, right_enhanced
-
文字识别:
- 优先调用云端OCR API(准确率高)
- 网络不佳时自动降级到本地MiniOCR
- 对识别结果进行后处理:
- 去除常见识别错误(如"福"误识为"祝")
- 自动补全缺漏字(基于对联语料库)
-
内容分析:
- 调用大模型API进行多维度分析
- 典型响应时间控制在2秒以内
3.2 AI赏析引擎
赏析引擎的设计是整个项目的核心创新点。我们设计了一套分层分析策略:
-
基础分析层:
- 平仄检测:基于古汉语拼音数据库自动标注
- 对仗分析:词性标注+语义相似度计算
- 格律校验:检查是否符合常见对联格律
-
文化解读层:
- 典故挖掘:从对联文本中识别潜在典故
- 意境分析:使用大模型生成100字左右的赏析
- 适用场景:判断适合家庭/商家/庙宇等场景
-
交互设计:
- AR界面采用分层展示策略:
- 第一层:对联原文(竖排渲染)
- 第二层:平仄标注(悬浮显示)
- 第三层:典故提示(点击查看详情)
- AR界面采用分层展示策略:
提示词工程是保证分析质量的关键。经过数十次迭代,最终确定的提示词模板如下:
code复制你是一位资深对联鉴赏专家,请严格按JSON格式返回分析结果:
{
"pinze": {
"upper": "平仄序列",
"lower": "平仄序列",
"valid": bool // 是否符合格律
},
"allusions": [{
"term": "典故词语",
"source": "出处",
"meaning": "寓意"
}],
"score": 0-100, // 综合评分
"comment": "专业赏析文字"
}
3.3 对联创作功能
创作功能采用约束生成技术,确保生成的对联既符合用户需求,又严守传统格律:
-
输入处理:
- 语音输入转文本
- 关键词提取(如"升学"、"健康"、"生意")
- 风格选择(传统/现代/吉祥)
-
生成策略:
python复制def generate_couplet(keywords, style):
# 构建约束条件
constraints = {
'length': 7, # 七言对联
'tone_pattern': '平平仄仄平平仄', # 上联格律
'antithesis': ['noun', 'verb'], # 对仗要求
'keywords': keywords,
'avoid_terms': ['死','亡'] # 禁忌词
}
# 调用大模型生成
drafts = llm.generate(
prompt_template="couplet_creation",
constraints=constraints,
num_return=3
)
# 后处理
return [validate(draft) for draft in drafts]
- 输出优化:
- 自动校验平仄和对仗
- 提供多个备选版本
- 附带创作思路说明
4. 性能优化与实测
4.1 关键性能指标
经过严格测试,系统主要性能指标如下:
| 指标 | 数值 | 优化措施 |
|---|---|---|
| 端到端延迟 | 2.8s(P90) | 并行化OCR和AI分析 |
| 离线识别准确率 | 72%(印刷体) | 专用书法字体训练集 |
| 网络恢复时间 | <1s | 长连接+智能重试机制 |
| 连续使用续航 | 4.5小时 | 动态功耗调节 |
| AR渲染帧率 | 30fps | 视图层级优化 |
4.2 典型使用场景
在实际春节期间的测试中,以下几个场景表现尤为突出:
-
走亲访友时:
- 识别邻居家对联"天增岁月人增寿,春满乾坤福满门"
- AR界面显示:
- 平仄:平平仄仄平平仄,仄仄平平仄仄平(完美)
- 典故:"天增岁月"出自《庄子》
- 评分:92(优秀传统联)
-
家庭定制:
- 输入关键词:"高考"、"健康"、"团圆"
- 生成示例:
code复制
上联:鲤跃龙门书锦绣 下联:家和事顺乐安康 横批:金榜题名
-
文化教育:
- 孩子语文作业需要了解对联知识
- 系统提供:
- 平仄教学动画
- 对仗关系图示
- 经典对联库浏览
5. 经验总结与优化方向
5.1 实践心得
在开发过程中,我们积累了几个关键经验:
-
竖排文字处理:
- 传统OCR引擎需要专门微调
- AR渲染时采用单字拆分方案更可靠
- 书法字体识别需要额外的笔画增强
-
大模型提示工程:
- 严格输出格式约束(JSON)
- 提供足够的背景知识
- 设置评分标准示例
-
离线体验优化:
- 建立本地对联知识库(5000+条目)
- 实现智能缓存策略
- 设计优雅的降级方案
5.2 未来优化方向
基于用户反馈,后续重点改进方向包括:
-
识别精度提升:
- 收集更多书法对联训练数据
- 引入超分技术增强低质量图像
- 添加用户纠错反馈机制
-
创作能力增强:
- 支持特定风格模仿(如苏轼风格)
- 增加韵律检查功能
- 提供书法书写建议
-
交互体验优化:
- 手势控制替代部分按键操作
- 更自然的语音对话
- 多副对联对比功能
这个项目最让我欣慰的是看到父亲这样的普通用户能够通过技术手段深入理解传统文化。当他在亲友面前侃侃而谈对联的平仄规律时,我意识到技术真正的价值在于降低认知门槛,让更多人能够欣赏传统文化的精髓。
