蒋张琦1. 从嵌入式工程师视角看机器学习基础
作为一名在嵌入式领域摸爬滚打多年的工程师，当我第一次接触机器学习时，最让我困惑的就是那些抽象的概念。今天我想用最接地气的方式，聊聊机器学习中最基础也最重要的两个概念：分类和回归。这两个概念看似简单，却是理解更复杂AI模型的基础。
在嵌入式系统中引入AI能力已经成为行业趋势。从智能家居设备到工业传感器，越来越多的单片机开始具备"思考"能力。而要真正掌握嵌入式AI，理解分类和回归的区别与应用场景是第一步。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 分类问题：像整理工具箱一样整理数据
2.1 什么是分类问题
想象一下你正在整理你的工具箱。你有各种螺丝刀、扳手、钳子，你需要把它们分门别类放到不同的格子里。这就是分类问题的本质——将输入数据划分到预定义的类别中。
在机器学习中，分类问题指的是根据输入特征，将数据实例分配到有限个离散类别中的任务。比如：
- 判断一封邮件是垃圾邮件还是正常邮件
- 识别一张图片中是猫还是狗
- 诊断一个病人是否患有某种疾病
2.2 分类问题的实际应用案例
让我们用一个嵌入式工程师熟悉的例子来说明。假设我们正在开发一个智能垃圾分类系统，使用摄像头和单片机来识别垃圾类型。
系统需要将垃圾分为四类：
- 可回收物
- 有害垃圾
- 湿垃圾
- 干垃圾
这个系统就是一个典型的多分类问题。对于每一个被检测到的垃圾物品，模型需要根据其特征（如颜色、形状、纹理等）将其归类到上述四个类别之一。
2.3 分类算法的工作原理
分类算法通常通过以下步骤工作：
- 特征提取：从原始数据中提取有区分度的特征
- 决策边界学习：算法学习如何根据特征值划分不同类别
- 预测：对新数据应用学到的决策规则进行分类
常见的分类算法包括：
- 决策树（就像文章开头提到的分类树）
- 支持向量机(SVM)
- 逻辑回归
- 神经网络
提示：在嵌入式系统中实现分类模型时，需要特别注意模型大小和计算复杂度，因为单片机的资源通常有限。
3. 回归问题：预测连续值的艺术
3.1 回归问题的本质
如果说分类是"分格子"，那么回归就是"画刻度"。回归问题关注的是预测连续数值，而不是离散的类别标签。
在嵌入式系统中，回归问题无处不在：
- 预测传感器读数
- 估计电池剩余电量
- 预测设备温度变化
3.2 线性回归深入解析
让我们用文章中的身高体重例子，更深入地看看线性回归是如何工作的。
假设我们有以下数据：
| 体重(kg) | 身高(cm) |
|---|---|
| 50 | 160 |
| 60 | 168 |
| 70 | 175 |
| 80 | 182 |
| 90 | 188 |
线性回归试图找到一条直线，使得所有数据点到这条直线的垂直距离（残差）的平方和最小。这条直线可以用方程表示为：
身高 = a × 体重 + b
通过最小二乘法，我们可以计算出最优的a和b值。在实际应用中，这个计算过程由机器学习库自动完成，但理解背后的数学原理很重要。
3.3 回归问题的挑战与解决方案
在实际工程中，回归问题往往比这个例子复杂得多。常见挑战包括：
- 非线性关系：当数据呈现曲线趋势时，简单的线性回归就不适用了
- 多重共线性：当多个特征高度相关时，会影响模型稳定性
- 过拟合：模型过于复杂，在训练数据上表现很好但泛化能力差
解决方案：
- 对于非线性关系，可以使用多项式回归或核方法
- 正则化技术（如L1/L2正则化）可以缓解过拟合
- 特征选择可以帮助处理多重共线性
4. 分类与回归的对比与实践选择
4.1 关键区别总结
| 特性 | 分类 | 回归 |
|---|---|---|
| 输出类型 | 离散类别 | 连续数值 |
| 评估指标 | 准确率、精确率、召回率 | 均方误差、R²分数 |
| 算法示例 | 决策树、SVM、逻辑回归 | 线性回归、岭回归 |
| 应用场景 | 识别、判断 | 预测、估计 |
4.2 如何在嵌入式项目中正确选择
在实际嵌入式AI项目中，选择分类还是回归取决于你要解决什么问题：
选择分类当：
- 输出是有限的几个明确类别
- 你需要做的是识别或判断
- 例如：故障诊断、手势识别
选择回归当：
- 输出是连续数值
- 你需要预测某个量的值
- 例如：传感器校准、功耗预测
注意：有些问题可以同时用分类和回归解决。比如年龄预测，可以做成回归问题（预测具体年龄），也可以做成分类问题（划分为年龄段）。选择取决于应用需求。
5. 嵌入式系统中的实现考量
5.1 资源受限环境的挑战
在嵌入式设备上实现机器学习模型面临独特挑战：
- 有限的计算资源（CPU、内存）
- 严格的功耗限制
- 实时性要求
- 模型大小限制
5.2 优化策略
针对这些挑战，可以采取以下策略：
- 模型量化：将浮点参数转换为低精度定点数
- 模型剪枝：移除对结果影响小的神经元或连接
- 知识蒸馏：用大模型训练小模型
- 专用硬件加速：使用NPU或DSP加速计算
5.3 常用工具与框架
嵌入式AI开发者常用的工具包括：
- TensorFlow Lite for Microcontrollers
- CMSIS-NN（ARM的神经网络库）
- STM32Cube.AI（ST的AI部署工具）
- MicroTVM（用于微控制器的TVM）
6. 从理论到实践：一个完整案例
6.1 案例背景：智能温控系统
假设我们要开发一个基于STM32的智能温控系统，需要预测房间温度变化来提前调整加热器功率。
6.2 问题分析与模型选择
这是一个典型的回归问题，因为：
- 输出是连续的温度值
- 需要预测未来时间点的温度
- 输入包括当前温度、湿度、加热器状态等
我们选择使用轻量级的线性回归模型，因为：
- 在嵌入式设备上计算效率高
- 模型大小小，适合存储在Flash中
- 对于温度预测这种相对简单的问题足够准确
6.3 实现步骤
- 数据收集：使用传感器收集温度、湿度等数据
- 特征工程：提取有意义的特征，如温差、变化率
- 模型训练：在PC上训练线性回归模型
- 模型转换：使用STM32Cube.AI将模型转换为C代码
- 部署验证：在开发板上测试模型性能
6.4 性能优化技巧
在实际部署中，我们发现以下技巧很有效：
- 使用16位定点数代替32位浮点数
- 实现滑动窗口均值滤波预处理
- 对输入数据进行归一化处理
- 定期在线校准模型参数
7. 常见问题与调试技巧
7.1 模型在PC上表现良好，但在设备上不准
可能原因：
- 量化误差过大
- 设备上传感器数据质量差
- 运行时环境差异
解决方案：
- 尝试更精细的量化方案
- 加强数据预处理和滤波
- 在设备上收集数据重新训练
7.2 模型运行速度太慢
优化方向：
- 降低模型复杂度
- 使用硬件加速特性
- 优化矩阵运算实现
7.3 模型占用Flash空间过大
减小模型大小的方法：
- 使用更紧凑的模型架构
- 应用模型压缩技术
- 选择支持模型压缩的框架
8. 进阶学习路径建议
掌握了分类和回归的基础后，可以继续深入学习：
- 神经网络基础：从感知机到深度学习
- 模型优化技术：量化、剪枝、蒸馏
- 嵌入式AI框架：TensorFlow Lite Micro、CMSIS-NN
- 硬件加速原理：了解NPU、DSP等加速器
学习资源推荐：
- 《TinyML》 by Pete Warden
- ARM的CMSIS文档
- STM32Cube.AI用户手册
- TensorFlow Lite Micro示例代码
在实际项目中，我建议从一个简单的具体问题开始，比如用加速度计数据做手势识别（分类）或用电流读数预测电机温度（回归）。通过实践来巩固理论知识是最有效的学习方式。