波士顿房价数据集实战：从数据清洗到回归建模-AI智能范式网

波士顿房价数据集实战：从数据清洗到回归建模

董超华

1. 项目概述：波士顿房价数据集实战解析

刚拿到波士顿房价数据集时，我和多数人一样直接就开始跑模型——直到第三次项目复盘时才意识到，这个看似简单的数据集里藏着太多值得深挖的细节。这次我们不搞花哨的算法竞赛，就用最基础的代码带你穿透数据表象，看看如何从原始CSV文件开始，一步步完成有价值的房价分析。

这个1978年发布的数据集包含506条波士顿郊区房屋信息，13个特征维度涵盖房屋结构（房间数、房龄）、区位条件（到就业中心距离）和环境因素（犯罪率、空气质量）。虽然数据量不大，但特征类型丰富，非常适合练习数据清洗、特征工程和回归建模的全流程。下面这段代码展示了如何用Python快速加载数据并生成首份分析报告：

python复制import pandas as pd
from sklearn.datasets import load_boston

# 新版sklearn移除了boston数据集，改用fetch_openml
data_url = "https://archive.ics.uci.edu/ml/machine-learning-databases/housing/housing.data"
raw_df = pd.read_csv(data_url, delim_whitespace=True, header=None)

# 添加列名（原始数据无表头）
columns = ['CRIM','ZN','INDUS','CHAS','NOX','RM','AGE',
           'DIS','RAD','TAX','PTRATIO','B','LSTAT','MEDV']
df = pd.DataFrame(raw_df.values, columns=columns)

注意：从sklearn 1.2版本起，由于伦理争议该数据集已被标记为deprecated。建议使用fetch_openml加载或直接通过UCI库获取原始数据

2. 数据深度清洗与特征解析

2.1 缺失值与异常值处理

这个经典数据集虽然已经过初步整理，但实际分析时仍会发现隐藏问题。比如通过df.info()检查会发现所有字段都是非空数值型，看似完美——但用df.describe()查看统计量时，可能会发现MEDV（房价中位数）存在50.0的封顶值（原始数据做过截断处理）：

python复制# 检测房价异常值
import matplotlib.pyplot as plt
plt.figure(figsize=(8,4))
plt.scatter(df['LSTAT'], df['MEDV'], alpha=0.6)
plt.xlabel('低收入人群比例(%)')
plt.ylabel('房价中位数($1000)')

房价散点图

图中右侧垂直分布的散点就是被截断的房价数据。处理方式取决于分析目的：如果要预测真实房价，应该剔除这些样本；如果只关注趋势关系，可以保留但需在报告中注明。

2.2 特征相关性热力图

用Seaborn绘制特征相关性矩阵，能直观发现关键影响因素：

python复制import seaborn as sns
corr_matrix = df.corr().round(2)
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')

热力图

从图中可以看到：

RM（房间数）与房价正相关最强（0.7）
LSTAT（低收入人群比例）负相关最明显（-0.74）
RAD（高速路可达性）和TAX（房产税率）存在高度共线性（0.91）

3. 回归建模核心步骤

3.1 基线模型构建

先建立简单的线性回归基准，注意要拆分训练测试集：

python复制from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

X = df[['RM', 'LSTAT', 'PTRATIO']]  # 选择关键特征
y = df['MEDV']

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

lr = LinearRegression()
lr.fit(X_train, y_train)
print(f"训练集R2分数: {lr.score(X_train, y_train):.3f}")
print(f"测试集R2分数: {lr.score(X_test, y_test):.3f}")

3.2 特征工程实战

原始特征往往需要转换才能发挥更好效果。例如对LSTAT做对数变换，能更好处理其右偏分布：

python复制import numpy as np
df['LOG_LSTAT'] = np.log(df['LSTAT'] + 1)  # +1避免零值

# 比较变换前后相关性
print("原始LSTAT相关性:", df['LSTAT'].corr(df['MEDV']))
print("对数变换后相关性:", df['LOG_LSTAT'].corr(df['MEDV']))

3.3 模型效果可视化

用残差图诊断模型问题：

python复制from yellowbrick.regressor import ResidualsPlot

visualizer = ResidualsPlot(lr)
visualizer.fit(X_train, y_train)
visualizer.score(X_test, y_test)
visualizer.show()

残差图

理想情况下残差应随机分布在0附近。若出现漏斗形，说明存在异方差性，可能需要加权回归或数据变换。

4. 进阶技巧与避坑指南

4.1 数据标准化陷阱

很多教程会教你在回归前做StandardScaler标准化，但对于线性回归其实不需要——因为系数会自动调整尺度。但如果你要比较特征重要性，或者使用正则化方法（Ridge/Lasso），标准化就非常必要：

python复制from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)  # 注意用训练集参数转换测试集

# 比较标准化前后系数变化
lr.fit(X_train, y_train)
print("原始系数:", lr.coef_)

lr_scaled = LinearRegression()
lr_scaled.fit(X_train_scaled, y_train)
print("标准化后系数:", lr_scaled.coef_)

4.2 交叉验证的正确姿势

新手常犯的错误是直接用全部数据做交叉验证，这会导致数据泄露。正确做法是在训练集内部做CV：

python复制from sklearn.model_selection import cross_val_score

scores = cross_val_score(lr, X_train, y_train, cv=5, scoring='r2')
print(f"CV平均R2: {scores.mean():.3f} (±{scores.std():.3f})")

4.3 伦理数据使用规范

由于该数据集涉及种族、经济地位等敏感因素，现代应用中需要注意：

避免直接使用'B'（黑人比例）等可能带有偏见的特征
在报告结论时需说明数据局限性（如房价截断）
考虑使用更现代的替代数据集（如California Housing）

5. 项目扩展方向

完成基础分析后，可以尝试以下进阶实验：

用决策树或随机森林捕捉非线性关系
加入特征交互项（如RM*LSTAT）
使用SHAP值解释模型预测
构建预测房价的Streamlight网页应用

我个人的经验是：与其追求复杂算法，不如先深入理解每个特征的业务含义。比如数据中"DIS"（到就业中心距离）的计算方式，会直接影响对区位价值的判断。曾经有个项目因为误读了这个指标，导致模型在郊区房产预测上连续出错。