1. 文本张量表示方法概述
文本张量表示是自然语言处理(NLP)中的基础技术,它将离散的文本数据转换为连续的数值表示,使计算机能够理解和处理语言信息。这种表示方法经历了从简单到复杂的演进过程,每种方法都有其特定的应用场景和优缺点。
在早期NLP系统中,最基础的表示方法是词袋模型(Bag of Words)。这种方法简单地将文本视为词汇的集合,忽略词序和语法结构,仅统计词频信息。虽然计算效率高,但丢失了大量语义信息。例如,"我喜欢苹果"和"苹果喜欢我"在这种表示下是完全相同的。
提示:词袋模型适用于简单的文本分类任务,但对语义理解要求高的场景表现不佳。
随着技术发展,词向量(Word2Vec)方法应运而生。这种方法通过神经网络训练,将每个词映射到一个固定维度的向量空间中,语义相似的词在向量空间中距离较近。Word2Vec有两种主要实现方式:CBOW(连续词袋模型)和Skip-gram。前者通过上下文预测当前词,后者通过当前词预测上下文。在实践中,Skip-gram对低频词处理更好,而CBOW训练速度更快。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 文本表示方法的演进历程
2.1 静态词向量时代
静态词向量是NLP发展的重要里程碑。除了Word2Vec,还有GloVe(Global Vectors for Word Representation)这种基于全局词频统计的方法。GloVe结合了全局统计信息和局部上下文窗口的优点,在某些任务上表现优于Word2Vec。
静态词向量的主要局限是无法处理一词多义现象。例如,"苹果"在"吃苹果"和"苹果手机"中的含义不同,但静态词向量只能给出单一表示。这促使了上下文相关词向量的发展。
2.2 上下文相关词向量
ELMo(Embeddings from Language Models)是首个广泛应用的上下文相关词向量方法。它使用双向LSTM语言模型,根据词的上下文生成动态表示。ELMo的核心创新是预训练+微调范式,这种范式后来被BERT等模型继承。
Transformer架构的出现彻底改变了文本表示方法。与RNN/LSTM不同,Transformer完全基于注意力机制,能够更好地捕捉长距离依赖关系。在PyTorch中实现Transformer相对简单,可以使用现成的nn.Transformer模块。
