中文命名实体识别技术：从HMM到Bi-LSTM-CRF的演进与实践

1. 项目背景与研究意义

中文命名实体识别（NER）作为自然语言处理的基础任务，在信息抽取、智能问答等领域具有关键作用。传统方法依赖人工特征工程，而深度学习通过自动学习文本特征显著提升了性能。本项目系统性地对比了HMM、CRF、Bi-LSTM以及它们的组合模型在中文NER任务上的表现，并创新性地提出集成策略，为相关研究提供了可复现的基准方案。

中文NER的难点在于：汉语缺乏显式分词边界、实体构成灵活、上下文依赖性强。例如"苹果公司发布了新手机"中，"苹果"可能是水果或公司名，需结合上下文判断。

2. 核心技术解析

2.1 基础模型架构

隐马尔可夫模型（HMM）

• 建模观测序列（字符）与状态序列（标签）的联合概率
• 参数估计采用Baum-Welch算法
• 解码使用Viterbi算法寻找最优标签路径
• 缺点：假设观测独立，难以处理长距离依赖

条件随机场（CRF）

• 直接建模标签序列的条件概率
• 特征函数可融合词语、词性等上下文信息
• 通过全局归一化避免标签偏差问题
• 经典特征模板示例：

  python复制# Unigram特征
  def word_is_digit(word):
      return word.isdigit()
  
  # Bigram特征  
  def prev_next_word(words, i):
      return f"prev={words[i-1]},next={words[i+1]}"
  

2.2 深度学习模型演进

Bi-LSTM基线模型

• 双向LSTM捕获上下文特征
• 最后一层接softmax输出标签概率
• 典型超参数配置：

  yaml复制embedding_dim: 300  # 字符嵌入维度
  hidden_dim: 256     # LSTM隐层大小
  dropout: 0.5        # 防止过拟合
  learning_rate: 0.001
  

Bi-LSTM-CRF联合模型

• Bi-LSTM作为特征提取器
• CRF层学习标签转移约束
• 目标函数包含LSTM输出分值和CRF转移分值：

  math复制P(y|x) = \frac{\exp(\s