深度学习实战：分类与回归问题解析与优化

1. 深度学习实战：分类与回归问题解析

在深度学习的实际应用中，分类和回归是最常见的两类任务。本章将通过三个典型案例，带你深入理解神经网络如何解决实际问题：电影评论情感分析（二元分类）、新闻主题分类（多类分类）和房价预测（标量回归）。这些案例不仅展示了完整的机器学习工作流程，更揭示了模型训练中的关键问题和解决方案。

1.1 电影评论情感分析：二元分类实战

1.1.1 数据集理解与预处理

IMDb数据集包含50,000条电影评论，其中25,000条用于训练，25,000条用于测试，均匀分布着正面和负面评价。每条评论已被预处理为整数序列，每个整数对应词典中的一个单词。

python复制from keras.datasets import imdb

(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

这里num_words=10000表示仅保留数据集中最常见的10,000个单词，这既能控制数据维度，又能过滤掉低频噪声词汇。数据加载后，每条评论表现为一个整数列表：

python复制>>> train_data[0]
[1, 14, 22, 16, ..., 178, 32]
>>> train_labels[0]  # 1表示正面评价
1

1.1.2 数据向量化技术

神经网络需要固定维度的输入，我们需要将变长序列转换为统一格式。多热编码（Multi-hot Encoding）是一种有效方法，它将每个评论转换为10,000维的二进制向量（对应10,000个单词），出现单词的位置设为1，其余为0。

python复制import numpy as np

def multi_hot_encode(sequences, num_classes):
    results = np.zeros((len(sequences), num_classes))
    for i, sequence in enumerate(sequences):
        results[i, sequence] = 1.0
    return results

x_train = multi_hot_encode(train_data, num_classes=10000)
x_test = multi_hot_encode(test_data, num_classes=10000)

这种表示虽然丢失了词序信息，但对于简单的情绪分析已经足够。标签已经是0和1的数组，只需转换为浮点类型：

python复制y_train = train_labels.astype('float32')
y_test = test_labels.astype('float32')

1.1.3 模型架构设计与训练

我们采用三层全连接网络：

• 两个隐藏层（16个单元，ReLU激活）
• 输出层（1个单元，Sigmoid激活）

python复制from keras import models
from keras import layers

model = models.Sequential([
    layers.Dense(16, activation='relu'),
    layers.Dense(16, activation='relu'),
    layers.Dense(1, activation='sigmoid')
])

选择二元交叉熵作为损失函数，Adam优化器：

python复制model.compile(optimizer='adam',
              loss='binary_crossentropy',
              metrics=['accuracy'])

1.1.4 验证集使用与过拟合分析

从训练集分出10,000个样本作为验证集：

python复制x_val = x_train[:10000]
partial_x_train = x_train[10000:]
y_val = y_train[:10000]
partial_y_train = y_train[10000:]

训练20个epoch后，观察验证指标：

python复制history = model.fit(partial_x_train,
                    partial_y_train,
                    epochs=20,
                    batch_size=512,
                    validation_data=(x_val, y_val))

绘制训练和验证损失曲线（图1）可见，验证损失在第4个epoch后开始上升，表明模型开始过拟合训练数据。因此，最终模型仅训练4个epoch：

python复制model.fit(x_train, y_train, epochs=4, batch_size=512)
results = model.evaluate(x_test, y_test)  # 测试准确率约88%

关键发现：验证集上的性能峰值通常早于训练集，这是判断何时停止训练的重要信号。

1.2 新闻主题分类：多类分类挑战

1.2.1 路透社数据集特性

路透社数据集包含11,228条新闻，分为46个互斥主题。与IMDb不同，这是一个典型的多类分类问题：

python复制from keras.datasets import reuters

(train_data, train_labels), (test_data, test_labels) = reuters.load_data(num_words=10000)

1.2.2 标签编码策略

对于多类分类，标签需要转换为分类编码（One-hot Encoding）：

python复制from keras.utils import to_categorical

y_train = to_categorical(train_labels)
y_test = to_categorical(test_labels)

1.2.3 模型架构调整

输出层需使用46个单元的Softmax激活，输出概率分布：

python复制model = models.Sequential([
    layers.Dense(64, activation='relu'),
    layers.Dense(64, activation='relu'),
    layers.Dense(46, activation='softmax')
])

使用分类交叉熵损失函数：

python复制model.compile(optimizer='adam',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

1.2.4 信息瓶颈问题

实验表明，当中间层单元数（如4个）远小于输出类别数（46个）时，模型准确率会显著下降（约8%）。这是因为网络被迫将必要信息压缩到过小的空间，形成信息瓶颈。

设计原则：中间层的维度不应小于输出类别数，否则会限制模型表达能力。

1.3 房价预测：回归问题实战

1.3.1 数据标准化处理

加州房价数据集包含8个数值特征（如收入、房龄等），需要先标准化：

python复制mean = train_data.mean(axis=0)
std = train_data.std(axis=0)
x_train = (train_data - mean) / std
x_test = (test_data - mean) / std

目标值（房价）也需缩放（除以100,000）：

python复制y_train = train_targets / 100000
y_test = test_targets / 100000

1.3.2 小数据集下的K折验证

数据量较少（仅404个训练样本）时，使用4折交叉验证更可靠：

python复制k = 4
num_val_samples = len(x_train) // k
all_scores = []

for i in range(k):
    # 准备验证数据：第k个分区的数据
    fold_x_val = x_train[i*num_val_samples : (i+1)*num_val_samples]
    fold_y_val = y_train[i*num_val_samples : (i+1)*num_val_samples]
    
    # 准备训练数据：其他所有分区的数据
    fold_x_train = np.concatenate(
        [x_train[:i*num_val_samples],
         x_train[(i+1)*num_val_samples:]],
        axis=0)
    fold_y_train = np.concatenate(
        [y_train[:i*num_val_samples],
         y_train[(i+1)*num_val_samples:]],
        axis=0)
    
    # 训练模型
    model.fit(fold_x_train, fold_y_train, epochs=100, batch_size=16, verbose=0)
    val_mse, val_mae = model.evaluate(fold_x_val, fold_y_val, verbose=0)
    all_scores.append(val_mae)

最终平均MAE约为0.296（即$29,600误差），考虑到房价范围（$60,000-$500,000），这是合理结果。

1.4 机器学习核心问题：泛化与过拟合

1.4.1 过拟合的三大诱因

1. 噪声数据：包括错误标注样本（如MNIST中标记错误的数字）和模糊样本（边界案例）。

2. 特征模糊性：某些输入可能合理对应多个类别（如香蕉成熟度判断）。

3. 罕见特征与虚假相关：低频特征可能与标签偶然相关（如"cherimoya"在少量负面评论中出现）。

1.4.2 解决方案框架

• 数据质量：清洗噪声数据，增加模糊案例的标注一致性
• 模型简化：减少参数数量，降低模型容量
• 正则化技术：添加L1/L2权重惩罚，使用Dropout层
• 早停策略：监控验证指标，在性能下降时停止训练

经验法则：当训练数据较少时，优先使用小型网络（1-2个隐藏层），并采用K折验证评估模型。

2. 模型优化与评估的高级技巧

2.1 验证策略对比

2.2 损失函数选择指南

2.3 激活函数性能对比

在新闻分类任务中，比较不同激活函数的影响：

python复制activation_functions = ['relu', 'tanh', 'sigmoid']
results = {}

for activation in activation_functions:
    model = models.Sequential([
        layers.Dense(64, activation=activation),
        layers.Dense(64, activation=activation),
        layers.Dense(46, activation='softmax')
    ])
    model.compile(optimizer='adam',
                  loss='categorical_crossentropy',
                  metrics=['accuracy'])
    history = model.fit(x_train, y_train,
                        epochs=20,
                        batch_size=512,
                        validation_data=(x_val, y_val),
                        verbose=0)
    results[activation] = history.history['val_accuracy'][-1]

实验结果显示ReLU通常优于Tanh和Sigmoid，尤其在深层网络中。

3. 实战建议与常见陷阱

3.1 数据预处理检查清单

1. 数值特征标准化：确保各特征均值为0，方差为1
2. 类别特征编码：使用one-hot或嵌入编码
3. 缺失值处理：填充或标记缺失值
4. 特征工程：考虑添加有意义的衍生特征
5. 数据泄露检查：确保测试数据不参与任何预处理计算

3.2 模型调试技巧

• 学习率测试：尝试10的幂次方范围（0.1, 0.01, 0.001等）
• 批量大小影响：小批量（32-256）通常更适合梯度估计
• 层宽试探：从较宽的网络开始（如256单元），逐步缩小
• 深度实验：增加层数直到验证损失不再改善

3.3 典型错误警示

1. 验证集污染：训练过程中意外使用验证数据进行决策
2. 目标泄露：特征中包含未来信息或目标相关线索
3. 评估指标误用：分类问题中使用准确率处理不平衡数据
4. 过早停止：在验证曲线波动时过早终止训练
5. 超参数过拟合：基于测试集结果反复调整模型

实用建议：建立完善的实验记录系统，记录每次调整的参数、数据和结果，这是避免混乱和重复工作的关键。

通过这三个案例的实践，我们不仅掌握了处理分类和回归问题的技术细节，更理解了机器学习中最本质的挑战——在优化与泛化之间寻找平衡。这些经验将为我们后续探索更复杂的深度学习模型奠定坚实基础。