NLP文本特征处理：n-gram与长度规范技术详解

1. 文本特征处理的核心逻辑与实现

在自然语言处理任务中，原始文本数据就像未经加工的食材，而文本特征处理就是将这些食材切配成适合烹饪的形态。这个过程的核心目标是将非结构化的文本转换为结构化特征，使机器学习模型能够更好地理解语言中的统计规律和语义信息。

1.1 n-gram特征的原理与价值

n-gram是一种基于统计语言模型的经典特征表示方法。它的核心思想是：将连续的n个词或字作为一个整体单元来处理。这种方法的优势在于：

1. 保留局部顺序信息：相比单独的词袋模型，n-gram能够捕捉词语之间的共现关系。例如"机器学习"和"学习机器"在词袋模型中表示相同，但通过bigram就能区分("机器-学习" vs "学习-机器")

2. 平衡特征维度与语义表达：单个词(unigram)特征维度低但语义表达弱，高阶n-gram语义表达强但维度爆炸。实际应用中，通常混合使用1-4 gram取得平衡

3. 缓解OOV问题：对于未登录词(OOV)，通过其组成的n-gram片段仍能获得部分语义信息。比如"深度学习框架"中的"度学"虽不是独立词语，但作为bigram仍有意义

python复制def generate_ngrams(text, n=2):
    """ 改进版的n-gram生成器，支持文本直接输入 """
    tokens = text.split() if isinstance(text, str) else text
    return [tuple(tokens[i:i+n]) for i in range(len(tokens)-n+1)]

# 实际应用示例
text = "自然语言处理技术真有趣"
print("Bigram:", generate_ngrams(text.split(), 2)) 
print("Trigram:", generate_ngrams(text, 3))

注意：当处理中文时，需要先进行分词。英文通常按空格分词，但要注意处理标点和大小写归一化

1.2 n-gram的实践技巧

在实际工程中，n-gram特征的生成和运用有几个关键考量点：

1. 滑动窗口的实现优化：对于大规模语料，建议使用生成器而非列表保存结果，避免内存溢出。以下是内存友好的实现方式：

python复制def ngram_generator(tokens, n):
    return (tuple(tokens[i:i+n]) for i in range(len(tokens)-n+1))

2. 高频n-gram过滤：统计n-gram出现频率，通常保留前N个或出现次数大于阈值的n-gram。这能显著降低特征维度：

python复制from collections import Counter

def get_top_ngrams(corpus, n=2, top_k=1000):
    ngrams = Counter()
    for text in corpus:
        tokens = text.split()
        ngrams.update(ngram_generator(tokens, n))
    return [ngram for ngram, _ in ngrams.most_common(top_k)]

3. 哈希技巧应用：当n-gram特征空间过大时，可以使用特征哈希(hashing trick)将n-gram映射到固定大小的特征空间：

python复制def hashed_ngram_feature(text, n_range=(1,3), dim=10000):
    features = [0]*dim
    for n in range(n_range[0], n_range[1]+1):
        for n