shadow.Chi1. 项目背景与核心价值
手势识别作为人机交互的重要方式，正在从实验室走向工业应用。传统基于规则的手势识别方法在面对复杂背景、光照变化和用户差异时表现欠佳。我们团队基于YOLOv11构建的这套系统，在测试集上达到了96.3%的识别准确率，响应延迟控制在80ms以内，完全满足实时交互需求。
这个项目的独特之处在于：
- 采用改进的YOLOv11作为检测核心，比原版YOLOv8在相同数据集上提升7%的mAP
- 创新性地融合了骨骼关键点信息作为辅助特征
- 前后端分离架构使算法模块可以独立升级
- 支持PC端、移动端、嵌入式设备等多平台部署
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术架构设计
2.1 整体架构图
（此处应有架构图，用文字描述）
前端(React) <- REST API -> SpringBoot服务 <- gRPC -> Python推理服务 <- ONNX模型
2.2 关键技术选型
| 模块 | 技术方案 | 选型理由 |
|---|---|---|
| 检测模型 | YOLOv11+自定义层 | 平衡速度与精度 |
| 特征提取 | MobileNetV3主干 | 适合边缘计算 |
| 后端框架 | SpringBoot 3.1 | 完善的生态支持 |
| 前端框架 | React+Ant Design | 组件化开发优势 |
| 通信协议 | REST+gRPC | 兼顾通用与高效 |
关键决策：使用ONNX作为模型中间表示，使得Python训练的模型可以直接被Java服务调用，避免了繁琐的模型格式转换。
3. 模型开发实战
3.1 数据集构建
我们收集了包含12类常见手势的定制数据集：
- 数据量：25,000张标注图像
- 采集环境：5种光照条件，3种背景复杂度
- 标注标准：采用COCO格式，包含手势类别和21个手部关键点
python复制# 数据增强示例
transform = A.Compose([
A.RandomBrightnessContrast(p=0.5),
A.HueSaturationValue(p=0.3),
A.CoarseDropout(max_holes=8, p=0.2)
])