1. 计算语言学概述
计算语言学作为语言学与计算机科学的交叉学科,已经走过了半个多世纪的发展历程。这门学科最初源于20世纪50年代机器翻译的尝试,如今已发展成为包含语音识别、自然语言处理、信息检索等多个分支的庞大体系。在当代数字化社会中,计算语言学的应用几乎无处不在——从智能手机的语音助手到社交媒体的情感分析,从机器翻译到智能客服,计算语言学的技术正在深刻改变着人类与语言的互动方式。
作为语言学教材的第十二章,本章将系统介绍计算语言学的核心概念、方法与应用。不同于传统语言学研究,计算语言学强调形式化建模和算法实现,需要研究者同时具备语言学理论素养和编程实践能力。这种双重特性使得计算语言学既充满挑战又极具应用价值。
提示:学习计算语言学需要建立"双向思维"——既要理解语言现象背后的规律,又要掌握将这些规律转化为计算机可处理形式的方法。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 计算语言学基础理论
2.1 形式语言理论
形式语言理论为计算语言学提供了重要的数学基础。乔姆斯基层级将语言分为四种类型:
- 正则语言:可用有限状态自动机识别
- 上下文无关语言:可用下推自动机识别
- 上下文有关语言
- 递归可枚举语言
自然语言通常被认为是介于上下文无关和上下文有关之间的语言系统。这一理论认识直接影响了自然语言处理系统的设计思路。
2.2 统计语言模型
n-gram模型是最基础的统计语言模型,通过计算词序列的联合概率来评估语言片段的合理性。例如,三元模型(trigram)计算:
P(wₙ|wₙ₋₂,wₙ₋₁)
在实际应用中,需要处理数据稀疏问题,常用平滑技术包括:
- 加一平滑(Laplace平滑)
- 回退法(Back-off)
- 插值法(Interpolation)
注意:选择n值时需权衡计算复杂度和模型效果,通常n=3或4在多数任务中表现最佳。
3. 自然语言处理关键技术
3.1 词法分析
词法分析是NLP的基础环节,包括:
- 分词(Word Segmentation)
- 最大匹配法
- 基于统计的方法(如HMM、CRF)
- 词性标注(POS Tagging)
- 规则方法
- 统计方法(如HMM、MEMM)
- 命名实体识别(NER)
中文处理特别关注分词问题,主流分词工具包括:
