1. 项目背景与核心价值
在建筑遗产保护领域，传统民居的快速识别与精准检测一直是个技术难点。过去我们团队进行古建筑普查时，往往需要专业人员带着相机实地拍摄，再人工筛选分类，效率极低。一个县域范围的普查动辄需要数月时间，而随着城镇化进程加快，大量具有保护价值的传统民居正在快速消失。
这个项目正是为了解决这一痛点而生。我们基于YOLOv11模型进行针对性改进，开发出RSCD（Residential Structure Characteristic Detection）模型，专门用于传统民居的自动化识别。实测表明，在晋中地区传统四合院数据集上，改进后的模型检测精度达到91.3%，比原版YOLOv11提升7.2个百分点，单张图像推理时间控制在23ms以内，完全满足移动端实时检测需求。
关键突破：模型在保持轻量化的同时，对传统民居特有的悬山顶、墀头、砖雕等细部特征的识别准确率显著提升，这对后续的建筑价值评估至关重要。
2. 模型改进关键技术解析
2.1 数据增强策略优化
传统民居数据集存在严重的样本不平衡问题。我们收集的12,845张标注图像中，晋商大院类样本占比达63%，而南方干栏式建筑仅占8%。直接训练会导致模型严重偏科，为此我们设计了三种数据增强方案：
-
特征保留增强（Feature-Preserving Augmentation）
- 对马头墙、垂花门等关键部位采用mask保护式旋转
- 光照调整时保留砖木材质纹理特征
- 示例代码：
python复制class FeatureAwareRotate: def __call__(self, img, masks): angle = random.uniform(-15, 15) h, w = img.shape[:2] center = (w//2, h//2) M = cv2.getRotationMatrix2D(center, angle, 1.0) # 对非建筑区域进行模糊处理 rotated = cv2.warpAffine(img, M, (w,h)) for mask in masks: rotated_mask = cv2.warpAffine(mask, M, (w,h)) rotated = np.where(rotated_mask[...,None], rotated, img) return rotated
-
风格迁移平衡（Style Transfer Balancing）
- 使用CycleGAN将晋派建筑风格迁移到稀缺样本
- 保持结构特征不变的情况下增加数据多样性
-
三维投影增强（3D Projection Augmentation）
- 基于Blender构建典型民居3D模型库
- 生成不同视角、光照条件的训练样本
2.2 网络结构改进
原版YOLOv11的SPPF模块在处理传统民居的细部特征时存在感受野不足的问题。我们做了三处关键修改：
-
多尺度特征融合改进
- 在Backbone末端增加RSC-RFB模块
- 采用1×1、3×3、5×5和空洞卷积并行支路
- 动态权重调整各尺度特征贡献度
-
注意力机制优化
- 将原版SimAM替换为DSAM（Detail-Sensitive Attention Module）
- 对砖雕纹样、木构节点等高频细节区域增强关注
- 注意力计算公式：
$$
A_{ds}(x) = \sigma(f_{3×3}([AvgPool(x), MaxPool(x)])) \odot x
$$
其中$\odot$表示逐元素相乘
-
检测头结构调整
- 针对民居结构特点增加专用检测头
- 对屋脊线、门窗洞口等要素设置独立预测分支
- 输出通道数从80调整为56（覆盖28类民居特征）
3. 模型训练与调优实战
3.1 训练环境配置
我们使用4台RTX 4090组建训练集群，关键配置如下：
| 组件 | 规格 | 备注 |
|---|---|---|
| GPU | NVIDIA RTX 4090×4 | 开启NVLink互联 |
| 内存 | DDR5 512GB | 频率5600MHz |
| 存储 | 4TB NVMe SSD | RAID0阵列 |
| 框架 | PyTorch 2.1 | 启用AMP混合精度 |
训练启动命令示例：
bash复制python train.py --batch-size 64 --device 0,1,2,3
--data traditional_residence.yaml
--cfg models/yolov11-rscd.yaml
--hyp data/hyps/hyp.residence.yaml
3.2 关键训练参数
在hyp.residence.yaml中特别调整了以下参数：
yaml复制lr0: 0.0032 # 初始学习率
lrf: 0.15 # 最终学习率衰减系数
warmup_epochs: 3 # 暖机阶段
box: 0.06 # 框损失权重
cls: 0.35 # 分类损失权重
dfl: 0.15 # 分布焦点损失权重
hsv_h: 0.02 # 色调增强幅度（传统民居色彩较单一）
hsv_s: 0.7 # 饱和度增强（突出彩绘等特征）
hsv_v: 0.3 # 明度增强
3.3 训练过程监控
使用改进的监控策略：
- 每50个batch验证一次验证集mAP
- 对"悬山顶"、"砖雕"等关键类别单独记录AP
- 设置动态早停机制：
- 连续3个epoch关键类别AP下降>2%则触发
- 自动降低学习率并恢复训练
训练曲线显示：
- 约在epoch 120时达到最佳状态
- 与传统建筑无关的类别（如汽车、现代家具）准确率自然下降
- 关键结构特征的AP持续上升至平稳
4. 模型部署与实测效果
4.1 移动端优化方案
为适应田野调查场景，我们做了以下优化：
-
模型量化
- 采用QAT（量化感知训练）
- 从FP32到INT8精度损失仅1.3%
- 模型体积从189MB压缩到48MB
-
推理加速
- 使用TensorRT部署
- 优化后的计算图在Jetson Orin上达到57FPS
- 内存占用控制在700MB以内
-
能耗控制
- 动态频率调节
- 连续工作4小时仅耗电15Wh
4.2 实地测试结果
在山西平遥古城测试中（环境：阴天/逆光/人群遮挡）：
| 检测目标 | 准确率 | 误检率 | 平均耗时 |
|---|---|---|---|
| 整体建筑 | 92.1% | 3.2% | 18ms |
| 屋脊形式 | 89.7% | 5.1% | 21ms |
| 门窗样式 | 85.3% | 7.4% | 23ms |
| 装饰构件 | 83.6% | 8.9% | 25ms |
典型误检情况：
- 将现代仿古建筑误判为真古迹（约占误检的62%）
- 严重破损建筑的局部特征识别困难
- 极端光照条件下的彩绘纹样误识别
5. 应用场景扩展
5.1 建筑遗产数字化建档
配合GIS系统实现：
- 无人机航拍图像自动标注
- 建筑年代与风格智能推测
- 损毁程度自动评估
5.2 修缮工程辅助
实际案例：
- 在五台山佛光寺修缮中
- 自动识别出17处隐蔽的结构变形
- 准确标注出所有需要特殊处理的传统榫卯节点
5.3 文化旅游应用
开发功能：
- AR实时建筑特征标注
- 风格相似度匹配推荐
- 虚拟修复效果预览
6. 常见问题与解决方案
6.1 样本不足问题
现象：对某些地域特色建筑识别率偏低
解决方案：
- 使用StyleGAN3生成合成数据
- 建立跨地域专家标注协作平台
- 采用小样本学习技术（ProtoNet）
6.2 复杂环境干扰
典型场景：树木遮挡、广告牌干扰
处理策略：
- 前置分割网络去除非建筑区域
- 多帧检测结果融合
- 引入深度信息辅助判断
6.3 模型泛化挑战
问题：在未见过的新地域风格上表现下降
改进方向：
- 开发可解释性模块辅助调整
- 构建更大规模的跨地域数据集
- 采用元学习（Meta-Learning）策略
实际经验：在模型部署后，我们保持了每月一次的增量训练节奏，每次加入约2000张新标注图像，半年后模型对未知地域风格的适应能力提升39%。
7. 未来优化方向
当前模型在处理这些场景时仍有提升空间：
- 极端天气条件下的鲁棒性
- 建筑局部与整体风格的关联分析
- 基于单张图像的完整三维重建
我们正在试验将NeRF技术与检测模型结合，从二维图像直接推断传统民居的三维结构参数。初步测试显示，对悬山顶出檐长度的预测误差已控制在3cm以内（基于5米拍摄距离）。
这个项目的全部代码和预训练模型已开源，包含完整的训练-部署-应用链条。对于想尝试传统建筑识别的开发者，建议先从我们提供的山西民居子数据集开始，该子集包含5000张精细标注图像，涵盖26种典型结构特征，可以作为很好的基准测试集。