1. 神经网络模型演进概述
在自然语言处理领域,神经网络架构的演变经历了从简单到复杂的渐进式发展过程。作为一名长期从事NLP算法研发的工程师,我完整经历了从传统FNN到Transformer的技术迭代周期。每种架构都在特定历史阶段解决了关键问题,同时也暴露出新的技术瓶颈。
全连接神经网络(FNN)作为最基础的神经网络结构,虽然实现简单但存在两个致命缺陷:无法捕捉序列位置信息,以及要求固定长度的输入输出。这两个问题直接限制了其在文本处理中的应用效果。2014年前后,随着RNN系列模型的兴起,我们终于看到了处理变长序列的希望,但随之而来的串行计算问题又成为新的性能瓶颈。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 全连接神经网络(FNN)的局限与突破
2.1 基础架构解析
全连接神经网络(Fully Connected Neural Network)由输入层、隐藏层和输出层构成,相邻层间所有神经元两两相连。其核心计算可表示为:
python复制h = σ(Wx + b)
其中σ表示激活函数(如ReLU、sigmoid),W为权重矩阵,b为偏置项。通过多层堆叠,网络可以学习复杂的非线性映射关系。
2.2 文本处理中的实践困境
在实际文本处理任务中,我们发现FNN存在两个关键问题:
-
位置信息缺失:将文本序列展平输入时,单词的原始顺序信息完全丢失。例如"猫追老鼠"和"老鼠追猫"会被处理为相同输入。
-
维度刚性约束:网络结构要求固定维度的输入输出。当处理不同长度的句子时,必须通过截断或填充来统一长度,这会造成信息损失或引入噪声。
提示:早期解决方案包括使用n-gram特征或手工设计位置特征,但这些方法都需要大量领域知识且泛化能力有限。
3. 循环神经网络(RNN)的革命与局限
3.1 时序建模机制
RNN通过引入隐状态h_t来保存历史信息:
python复制h_t = σ(W_hh * h_{t-1} + W_xh * x_t + b)
这种递归结构使其能够处理任意长度的序列,在2013-2016年间成为NLP的主流架构。根据输出形式的不同,RNN主要应用于三类场景:
- 序列标注:如命名实体识别,每个时间步输出对应标签
- 序列分类:如情感分析,最终隐状态包含整个序列信息
