1. 相关系数法:特征选择的入门利器
在机器学习的特征工程环节,相关系数法就像一把锋利的手术刀,能快速切除数据中的冗余部分。我第一次接触这个方法是在处理一个房价预测项目时,当时数据集里有20多个特征,有些明显存在重复信息。通过相关系数法,我成功将特征数量精简到12个,模型训练时间缩短了40%,预测精度反而提升了3%。
皮尔逊相关系数(Pearson Correlation Coefficient)是这种方法的核心工具,它衡量的是两个连续变量之间的线性关系强度。这个统计量由卡尔·皮尔逊在19世纪末提出,至今仍是数据分析中最常用的相关性指标之一。它的计算原理其实很直观:通过比较两个变量的协方差与各自标准差的乘积,得到一个介于-1到1之间的数值。
注意:相关系数只能反映线性关系,对于曲线相关(如抛物线关系)或更复杂的非线性关系,皮尔逊系数可能会给出接近0的误导性结果。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 皮尔逊相关系数的数学本质
2.1 公式解析
皮尔逊相关系数的计算公式看似复杂,实则蕴含清晰的统计意义:
$$
r = \frac{\sum (X_i - \bar{X})(Y_i - \bar{Y})}{\sqrt{\sum (X_i - \bar{X})^2 \sum (Y_i - \bar{Y})^2}}
$$
这个公式可以分解为三个关键部分:
- 分子:两个变量的协方差,反映它们共同变化的趋势
- 分母:两个变量标准差的乘积,起到归一化作用
- 整体:标准化后的协方差,确保结果在[-1,1]范围内
在实际计算中,我们通常使用向量化运算来提高效率。假设我们有两个特征向量X和Y,计算过程可以表示为:
python复制def pearson_correlation(x, y):
x_mean = np.mean(x)
y_mean = np.mean(y)
numerator = np.sum((x - x_mean) * (y - y_mean))
denominator = np.sqrt(np.sum((x - x_mean)**2) * np.sum((y - y_mean)**2))
return numerator / denominator
2.2 解释性指南
相关系数的取值需要结合具体场景来理解:
- 0.8 ≤ |r| ≤ 1:极强相关性
- 0.6 ≤ |r| < 0.8:强相关性
- 0.4 ≤ |r| < 0.6:中等相关性
- 0.2 ≤ |r| < 0.4:弱相关性
- 0 ≤ |r| < 0.2:极弱相关性或无相关性
在特征选择中,我们通常关注绝对值大于0.8的特征对。但要注意,这个阈值不是绝对的,需要根据具体问题和数据特点调整。我曾经在一个金融风控项目中,将阈值设为0.7,因为那些特征对模型稳定性的影响更为敏感。
3. 完整实战流程:从数据到模型
3.1 数据准备与探索
让我们用一个更贴近真实场景的房价数据集来演示完整流程。这个数据集包含以下特征:
- 房屋面积(平方米)
- 卧室数量
- 浴室数量
- 房龄(年)
- 所在楼层
- 是否靠近地铁(0/1)
- 周边学校数量
- 到市中心的距离(公里)
python复制import pandas as pd
import nu
