1. spaCy核心对象解析:Doc、Token与Span的本质
在自然语言处理领域,spaCy作为工业级Python库,其核心设计哲学是将文本处理流程对象化。Doc、Token和Span这三个基础对象构成了spaCy处理文本的原子单元,理解它们的特性和相互关系是掌握spaCy的关键。不同于简单的字符串处理,这些对象封装了语言学特征和文本关系,使得复杂的NLP任务可以通过面向对象的方式优雅实现。
提示:本文所有代码示例基于spaCy 3.x版本,建议配合Jupyter Notebook实操验证
1.1 Doc对象:文本的容器与入口
当我们将一段文本送入spaCy管道时,首先得到的就是Doc对象。这个看似简单的容器实际上是一个智能数据结构:
python复制import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("Apple is looking at buying U.K. startup for $1 billion")
print(type(doc)) # <class 'spacy.tokens.doc.Doc'>
print(len(doc)) # 10 (包含10个token)
Doc的特殊之处在于:
- 它既是序列(可迭代的Token集合)
- 又是图(包含词语间依存关系)
- 还是特征仓库(存储词性标注、命名实体等)
内存布局上,Doc采用C语言风格的连续数组存储,这种设计使得:
- 遍历速度比普通Python列表快5-8倍
- 内存占用减少40-60%(实测10万token文本仅需约15MB)
1.2 Token对象:语言的最小单位
每个Token对象代表文本中的一个语言学单元,其属性系统是spaCy的精华所在:
python复制token = doc[0] # 获取第一个token"Apple"
print(token.text) # Apple
print(token.lemma_) # apple
print(token.pos_) # PROPN
print(token.dep_) # nsubj
print(token.is_stop) # False
