基于人体关键点的暴力行为检测系统设计与边缘部署

1. 暴力行为检测系统概述

这个项目源于我在安防领域遇到的一个实际问题：如何在不侵犯隐私的前提下，实时检测公共场所的暴力行为。传统视频监控系统要么依赖人工值守（效率低下），要么采用基于像素变化的简单算法（误报率高）。经过多次尝试，我们最终选择了基于人体关键点序列的解决方案——它既能保护隐私（不存储原始图像），又能准确识别特定行为模式。

系统核心由两部分组成：人体姿态估计模块和行为分类模块。姿态估计采用YOLO11n-pose模型，它能从视频中实时提取17个关键点（包括头部、四肢、躯干等部位）。分类模块则是一个轻量级的时序模型，专门分析关键点序列的运动模式。这种架构设计使得系统可以在Orange Pi AI Pro这类边缘设备上流畅运行，实测推理速度能达到15FPS以上。

技术选型关键点：选择关键点而非原始图像作为特征，既解决了隐私合规问题，又大幅降低了计算量。17个关键点的数据量仅为原始图像的1/500左右。

2. 技术实现细节解析

2.1 数据预处理流水线

处理一个视频输入需要经过以下标准化流程：

1. 帧采样：原始视频首先被降采样到10FPS（平衡时序精度和计算开销）
2. 人体检测：每帧送入YOLO11n-pose模型，输出格式为：

   python复制# 单个人体的关键点数据结构示例
   {
       'nose': [x, y, conf],
       'left_eye': [x, y, conf],
       ...
       'right_ankle': [x, y, conf]
   }  # 共17个关键点
   

3. 特征标准化：
   • 坐标归一化：以骨盆关键点为原点，所有坐标转换为相对位置
   • 置信度过滤：低于0.3的关键点会被置零
   • 补零处理：单帧不足3人时，用零向量填充至固定153维

2.2 时序建模方案

我们对比了三种时序模型结构后，最终选择了一种改进的TCN（时序卷积网络）架构：