文本相似度计算：从基础算法到工程实践

1. 文本相似度计算的核心价值与应用场景

文本相似度计算是自然语言处理领域的基础性技术，它的核心价值在于将人类语言转化为可量化的数学表达。我在实际项目中经常遇到这样的需求：如何判断两段文字表达的是否是同一个意思？如何在海量文本中快速找到相似内容？这些问题的解决都依赖于文本相似度算法。

从技术实现角度看，文本相似度计算主要解决三个层面的问题：

• 表层相似度：基于字符或词汇的匹配程度（如Jaccard、编辑距离）
• 语义相似度：理解词语背后的含义（如Word2Vec、BERT）
• 语境相似度：结合上下文理解整体语义（如预训练语言模型）

提示：选择算法时，首先要明确你的应用场景需要解决哪个层面的问题。比如商品标题去重需要表层相似度，而智能客服则需要深层次的语义理解。

在电商平台的实际案例中，我们曾用文本相似度技术解决了这样的问题：用户搜索"苹果手机充电器"时，系统需要识别出"iPhone充电线"、"Lightning接口充电头"等不同表述但实际相同的商品。通过组合使用TF-IDF和词向量方法，我们将相关商品的召回率提升了37%。

2. 基础算法实现与工程实践

2.1 Jaccard相似度的优化实现

原始Jaccard算法在处理中文时存在分词敏感性问题。经过多次实践，我总结出几个优化方向：

1. 分词粒度控制：

python复制import jieba

def chinese_jaccard(str1, str2):
    # 加入自定义词典避免专业术语被错误切分
    jieba.load_userdict('tech_terms.txt')  
    set1 = set(jieba.lcut(str1))
    set2 = set(jieba.lcut(str2))
    intersection = len(set1 & set2)
    union = len(set1 | set2)
    return intersection / union if union != 0 else 0

2. 权重优化版本（考虑词性）：

python复制def weighted_jaccard(str1, str2):
    nouns_weight = 1.2  # 名词权重
    verbs_weight = 1.0
    adj_weight = 0.8
    
    words1 = jieba.lcut(str1)
    words2 = jieba.lcut(str2)
    
    # 简化的词性标注（实际应用应使用专业工具）
    def get_weight(word):
        if len(word) > 3: return nouns_weight
        return verbs_weight
    
    intersection = sum(get_weight(w) for w in set(words1) & set(words2))
    union = sum(get_weight(w) for w in set(words1) | set(words2))
    return intersection / union if union != 0 else 0

2.2 编辑距离的工业级优化

原始Levenshtein算法的时间复杂度是O(n²)，在处理长文本时性能堪忧。在实际工程中，我们采用以下优化策略：

1. 长度阈值过滤：

python复制def optimized_levenshtein(s1, s2, max_ratio=0.3):
    len_diff = abs(len(s1) - len(s2))
    if len_diff / max(len(s1), len(s2)) > max_ratio:
        return 0  # 长度差异过大直接返回不相似
    return normalized_levenshtein(s1, s2)