新闻关键词提取技术：TF-IDF与TextRank算法实践

1. 新闻关键词提取的技术背景与价值

在信息过载的数字化时代，新闻资讯正以每秒数百万条的速度产生。作为媒体从业者，我每天需要处理上百篇新闻稿件，手动标注关键词的效率已经无法满足工作需求。三年前我开始研究自动化关键词提取技术，经过反复实践验证，TF-IDF和TextRank这两个经典算法在实际业务场景中展现出惊人的实用性。

关键词提取本质上是对文本信息的蒸馏过程——就像从一锅浓汤中提取最精华的部分。以科技新闻《华为发布5G折叠屏手机》为例，人工提取的关键词可能是"华为"、"5G"、"折叠屏"、"手机发布会"。而自动化算法要做的就是模拟人类的这种概括能力。

这个技术在实际应用中主要有三大价值：

1. 内容标签化：为新闻打上结构化标签，便于分类检索
2. 摘要生成基础：作为文本摘要的前置步骤
3. 用户画像构建：通过关键词分析读者兴趣偏好

我团队服务的某新闻平台接入关键词提取系统后，内容推荐CTR提升了37%，编辑工作效率提高了近3倍。下面将分享从理论到实践的完整实现过程。

2. 核心算法原理解析

2.1 TF-IDF：统计学的智慧

TF-IDF（Term Frequency-Inverse Document Frequency）是信息检索领域的里程碑式算法。我在早期项目中发现，单纯使用词频（TF）会导致"的"、"是"等停用词被误判为关键词，而IDF的引入完美解决了这个问题。

算法核心公式：

code复制TF-IDF = TF(t,d) × IDF(t)

其中：

• TF(t,d) = 词t在文档d中出现的次数 / 文档d的总词数
• IDF(t) = log(总文档数 / 包含词t的文档数)

实际计算示例：
假设语料库有1000篇文档：

• 词"元宇宙"在当前文档出现5次，文档总词数500
• 语料库中有20篇文档包含"元宇宙"
  则：

code复制TF = 5/500 = 0.01  
IDF = log(1000/20) ≈ 3.91  
TF-IDF = 0.01 × 3.91 ≈ 0.039

关键经验：必须对中文进行准确分词。早期项目使用jieba基础词典导致"5G手机"被错误切分为"5"、"G"、"手机"，严重影响效果。建议加载自定义词典（如科技词汇表）。

2.