Lang Run1. 项目概述：用60行Python实现手势控制电脑
去年冬天的一个深夜，我正赶着项目进度，右手腕突然传来一阵刺痛——长期使用鼠标导致的腕管综合征又发作了。那一刻我意识到，必须找到更符合人体工学的交互方式。经过两周的探索，我成功用Python构建了一套手势控制系统，完全取代了鼠标操作。最令人惊喜的是，核心代码仅60行就实现了基础功能。
这套系统基于OpenCV+MediaPipe实现手势识别，通过pyautogui库将手势动作映射为鼠标操作。实测下来，浏览网页、处理文档等日常办公场景的完成度能达到85%以上，特别适合需要长时间操作电脑的开发者、设计师等群体。下面我将完整分享实现过程，包括你可能遇到的坑和优化技巧。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术选型与原理分析
2.1 核心组件作用解析
MediaPipe：Google开源的跨平台机器学习解决方案，其手势识别模块能精准检测21个手部关键点（如图1）。相比传统图像处理方案，其优势在于：
- 内置预训练模型，准确率高达95.7%
- 支持实时处理（30FPS+）
- 输出标准化坐标（0-1区间）
OpenCV：负责视频流处理，包括：
- 摄像头帧捕获（cv2.VideoCapture）
- 图像色彩空间转换（BGR↔RGB）
- 可视化标注（绘制关键点和连线）
pyautogui：将手势映射为系统输入：
- 移动鼠标（pyautogui.moveTo）
- 模拟点击（pyautogui.click）
- 控制滚动（pyautogui.scroll）
2.2 手势-动作映射设计
经过多次迭代，我确定了最实用的映射方案：
| 手势状态 | 对应操作 | 触发条件 |
|---|---|---|
| 食指伸直其余弯曲 | 鼠标移动 | 检测到食指指尖坐标 |
| 拇指食指捏合 | 左键单击 | 两指尖距离<0.05（归一化值） |
| 五指张开快速下压 | 滚轮下滑 |