NLTK自然语言处理实战：从文本预处理到情感分析

1. 从零认识NLTK：自然语言处理的瑞士军刀

第一次接触NLTK是在研究生时期的文本挖掘课程上。当时需要处理几千条社交媒体评论，手动分类几乎不可能完成。教授演示了用NLTK几行代码实现词频统计和情感分析，那种"原来可以这样简单"的震撼感至今难忘。NLTK（Natural Language Toolkit）作为Python最老牌的自然语言处理库，就像语言学家的数字实验室，把复杂的文本分析变成了可编程的操作。

这个库最初由宾夕法尼亚大学计算机系在2001年开发，初衷是为了教学和研究。你可能想不到，现在连小学生都能用NLTK做简单的文本分析——它内置了超过50种语料库和词典资源，支持从基础的分词、词性标注到复杂的语义推理等全套NLP流程。我在电商平台做用户评论分析时，90%的基础处理工作都靠它完成。

2. 核心功能全景解析

2.1 文本预处理三板斧

处理原始文本就像准备食材，NLTK提供了完整的预处理工具链。以分析产品评论为例：

python复制import nltk
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
from nltk.stem import PorterStemmer

text = "The camera quality is amazing, but battery life could be better."
tokens = word_tokenize(text)  # 分词
stop_words = set(stopwords.words('english'))
filtered = [w for w in tokens if not w.lower() in stop_words]  # 去停用词
ps = PorterStemmer()
stems = [ps.stem(word) for word in filtered]  # 词干提取

这里有几个实战经验：

• 分词时建议先统一转小写，避免"The"和"the"被识别为不同词
• 英文停用词表需要根据业务调整，比如电子产品评论中"battery"可能是关键词
• 词干提取会损失部分语义信息，情感分析时建议保留原形

2.2 词性标注