零样本技能抽取：基于对比双编码器的多标签分类模型

1. 基于对比双编码器的多标签技能抽取模型解析

在劳动力市场分析领域，如何将非结构化的招聘广告准确映射到标准化的技能分类体系（如ESCO）一直是个技术难题。传统方法通常需要大量人工标注的训练数据，这不仅成本高昂，而且在非英语环境下效果往往不尽如人意。今天我要分享的这篇论文提出了一种创新的零样本技能抽取框架，完全绕过了对人工标注数据的依赖。

这个框架的核心思路非常巧妙：首先利用大型语言模型（LLM）从ESCO定义中自动生成训练样本，然后训练一个对比双编码器模型，将招聘广告中的句子与ESCO技能描述映射到同一个语义空间。最终模型在中文招聘广告上的零样本检索F1@5达到了0.72，显著优于传统的TF-IDF和标准BERT基线。

2. 技术方案深度解析

2.1 整体架构设计

模型的整体流程可以分为三个关键阶段：

1. 数据合成阶段：使用LLM基于ESCO技能定义自动生成训练样本
2. 模型训练阶段：训练对比双编码器建立语义对齐
3. 推理应用阶段：将真实招聘广告映射到ESCO技能体系

这种设计最大的优势在于完全摆脱了对人工标注数据的依赖，使得模型可以快速适配到新的语言环境和技能分类体系。

2.2 层次约束的多技能生成

论文中一个非常关键的创新点是提出了层次约束的多技能生成方法。具体来说：

• 首先将ESCO技能体系按Level-2类别进行划分
• 生成训练样本时，确保同一批生成的技能都属于同一个Level-2类别
• 这种方法显著提升了生成样本的语义连贯性

实验证明，相比无约束的随机配对，层次约束的生成方式使样本质量提升了约23%（基于人工评估）。

提示：这种层次约束的思想其实可以推广到其他多标签分类任务中，特别是当标签体系本身具有层次结构时。

2.3 模型架构细节

双编码器模型的核心组件包括：

1. BERT骨干网络：作为基础的特征提取器
2. BiLSTM层：增强对长距离依赖的建模能力
3. 注意力池化层：替代传统的[CLS]池化，更好地捕捉关键信息

模型采用对比学习目标，最小化正样本对的距离，最大化负样本对的距离。损失函数采用标准的InfoNCE loss：

code复制L = -log[exp(sim(q,k+)/τ) / Σ exp(sim(q,k