1. 表格问答模型的挑战与机遇
表格数据问答(Table QA)是自然语言处理领域一个独特而富有挑战性的任务。与传统的文本问答不同,表格数据具有严格的二维结构,包含行、列、单元格等结构化元素,同时每个单元格又可能包含自由文本。这种"结构化+非结构化"的混合特性,使得表格问答既需要理解表格的语义结构,又需要处理自然语言的复杂性。
传统表格问答系统主要采用两种方法:一种是基于规则和模板的抽取式方法,直接从表格中提取单元格内容作为答案;另一种是生成式方法,能够生成包含上下文解释的自由格式答案。前者虽然准确但缺乏灵活性,后者更接近人类回答方式但训练难度大。GenTaP模型的创新之处在于,它通过创新的预训练策略,在保持生成式回答优势的同时,显著提升了回答的准确性和流畅性。
提示:在实际应用中,表格问答系统常面临"语义鸿沟"问题——用户提问使用的自然语言词汇与表格中的专业术语往往不一致。例如用户可能问"哪款手机电池最大",而表格中对应的列名可能是"电池容量(mAh)"。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. GenTaP模型架构解析
2.1 双目标预训练设计
GenTaP采用编码器-解码器架构,其核心创新是设计了两个并行的解码目标:
- 长格式答案生成:产生包含解释和上下文的完整句子回答
- 短格式答案抽取:直接输出表格中的精确值或名称
这种双目标设计源于对实际需求的深入观察。当用户问"2022年销量最高的产品是什么"时,理想的回答既需要给出产品名称(短答案),也需要补充相关信息如"XX产品以150万件的销量位居榜首,比第二名高出20%"(长答案)。模型通过共享编码器学习表格和问题的联合表示,两个解码器则分别专注于不同粒度的答案生成。
2.2 合成数据生成管道
高质量训练数据的匮乏是表格问答领域的主要瓶颈。GenTaP的创新数据生成方案包含三个关键步骤:
-
表格-句子对挖掘:
- 从网页文档中提取包含表格引用句的段落
- 筛选出至少引用同一行两个单元格值的句子
- 例如:"iPhone 13的屏幕尺寸为6.1英寸,重量173克"就是一个优质候选
-
问题生成模型训练:
- 反转SQuAD等阅读理解数据集的输入输出
- 将"答案+上下文"作为输入,原始问题作为输出
- 微调T5模型
