R 深度学习第二版(五):文本的深度学习实战指南
1. 文本处理基础与模型架构选择
在自然语言处理(NLP)领域,我们面临的核心挑战是如何有效地表示和处理人类语言这种非结构化的数据。与计算机设计的结构化语言不同,自然语言充满了模糊性、复杂性和不断演变的特性。本章将深入探讨两种主要的文本处理方法:词袋模型和序列模型,并通过IMDB电影评论情感分析任务展示它们的实际应用。
1.1 文本预处理全流程
文本向量化是将原始文本转换为神经网络可以处理的数值张量的过程,包含三个关键步骤:
-
文本标准化:统一文本格式,如转换为小写、去除标点、处理特殊字符等。例如:
- 原句:"Sunset came; I stared at the México sky."
- 标准化后:"sunset came i stared at the mexico sky"
-
分词:将文本分割成基本单元(标记),常用方法有:
- 单词级分词:"the cat sat" → ["the", "cat", "sat"]
- N-gram分词:"the cat sat" → ["the", "the cat", "cat", "cat sat", "sat"]
- 字符级分词(较少使用)
-
词汇表索引:为每个标记分配唯一整数,构建词汇表映射
1.2 Keras文本向量化层实战
Keras提供了layer_text_vectorization()层来高效实现上述流程:
r复制text_vectorization <- layer_text_vectorization(
max_tokens = 20000, # 限制词汇表大小
output_mode = "int", # 输出整数序列
output_sequence_length = 600 # 统一序列长度
)
# 适配训练数据构建词汇表
adapt(text_vectorization, text_only_train_ds)
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 词袋模型:忽略顺序的文本表示
词袋模型将文本视为无序的单词集合,通过统计特征进行建模,适合样本数量远大于平均单词数的场景。
