1. 从一棵树到一片林:随机森林的直觉构建
第一次接触随机森林时,我被这个看似矛盾的名字吸引了——森林本该是自然的、无序的,而"随机"二字又给它蒙上了一层不确定性。但当我真正开始使用这个算法解决实际问题时,才发现这种表面上的矛盾恰恰是其强大之处。
决策树作为随机森林的基础组件,其工作原理非常符合人类直觉。想象一下医生诊断病情的过程:先看体温是否超过38度,如果是,再检查是否有咳嗽症状,接着可能询问接触史...这种层层递进的判断方式,正是决策树的思考逻辑。在机器学习中,决策树通过递归地选择最优特征进行数据分割,直到达到停止条件(如深度限制或样本数阈值)。
但单棵决策树有个致命弱点——它太容易记住训练数据的细节了(过拟合)。就像一位医生如果只凭记忆中的几个典型病例做判断,遇到新症状时就容易误诊。2001年,Leo Breiman提出了随机森林算法,其核心思想是:与其依赖一棵可能"偏执"的树,不如让多棵树共同投票做决定。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 森林的构建哲学:三大随机性支柱
2.1 数据层面的随机性:Bootstrap抽样
随机森林的第一重随机性来自数据。每棵树训练时,并不使用全部数据,而是从原始数据集中有放回地随机抽取样本(Bootstrap抽样)。这种抽样方式会导致:
- 每个样本被抽中的概率是1 - (1-1/N)^N ≈ 63.2%(当N较大时)
- 未被抽中的样本(约36.8%)自然形成袋外数据(OOB),可用于评估模型性能
python复制# Bootstrap抽样示例
import numpy as np
original_data = np.arange(100) # 假设有100个样本
bootstrap_sample = np.random.choice(original_data, size=100, replace=True)
注意:虽然不同树可能看到重复样本,但由于特征选择的随机性(下文会讲),它们仍会学到不同的模式。
2.2 特征层面的随机性:分裂时的特征子集
传统决策树在选择分裂特征时,会评估所有可用特征。而随机森林引入了第二重随机性——每棵树在每个节点分裂时,只考虑随机选取的特征子集(通常取特征总数的平方根)。这样做有两大好处:
- 降低树之间的相关性,增强多样性
- 提高训练效
