淘宝AI搜索技术LEAPS：解决电商搜索语义理解难题

1. 淘宝AI搜索的技术困境与用户痛点

在电商平台搜索商品时，我们常常陷入两难境地：要么输入过于精确的描述导致"零结果"，要么简化查询后面对海量不相关商品。这种体验在淘宝这样拥有数十亿商品的平台上尤为明显。传统搜索系统基于关键词匹配的局限性，使得用户不得不将自己的需求"降维"——把"500-800元男士亚麻西装，适合海滩婚礼，不要纯黑色"简化为"亚麻西装 男"。

这种技术限制带来了三个核心问题：

1. 语义理解不足：传统引擎无法准确解析包含多重要求的自然语言查询
2. 结果质量低下：简化查询返回大量不相关商品，用户需要手动筛选
3. 用户体验割裂：用户被迫改变自然的表达习惯来适应系统限制

2. LEAPS框架的技术突破

阿里巴巴团队提出的LEAPS框架创新性地采用"拓宽-精炼"(Broaden-and-Refine)双插件架构，在不改变现有搜索系统的情况下显著提升了对话式搜索体验。

2.1 查询扩展器：智能化的意图翻译

查询扩展器是LEAPS的上游组件，负责将用户复杂的自然语言查询转化为系统友好的多组查询。其核心技术突破在于三阶段训练策略：

1. 逆向数据增强训练：
   • 从高质量商品标题生成对应的口语化查询
   • 构建<query, rewrite>配对数据集
   • 使用标准负对数似然损失进行初步对齐

python复制# 逆向数据增强的简化实现示例
def inverse_augmentation(product_titles):
    queries = []
    for title in product_titles:
        # 使用LLM生成对应的口语化查询
        prompt = f"生成一个用户可能会输入的查询来描述这个商品：{title}"
        query = llm.generate(prompt)
        queries.append((query, title))
    return queries

2. 基于后验知识的监督微调：

   • 将用户查询分解为产品核心和属性集
   • 生成属性子集的所有可能组合
   • 通过搜索引擎验证各组合的效果
   • 选择效果最好的前k个组合进行微调

3. 多样性感知强化学习：

   • 设计混合相关性、全局相关性和有效相关性三个奖励信号
   • 采用GSPO算法进行策略优化
   • 确保生成的查询既相关又互补

2.2 相关性验证器：精准的结果过滤

下游的相关性验证器负责从扩展查询返回的结果中筛选真正符合用户需求的商品。其创新点在于：

1. 多源数据整合：

   • 商品OCR文本
   • 用户评论摘要
   • 销售指标
   • 用户画像数据

2. 思维链推理能力：

   • 使用富含CoT(Chain-of-Thought)数据训练
   • 不仅能判断相关性，还能生成简短理由
   • 模拟人类评估者的认知过程

3. 工程优化：

   • 顺序批处理降低QPS压力
   • 双重分页策略平衡负载和体验
   • 反馈驱动分配优化资源使用

3. 关键技术实现细节

3.1 查询扩展器的强化学习设计

LEAPS在强化学习阶段设计了三个创新的奖励信号：

1. 混合相关性(Hybrid Relevance)：

   • 平衡单个改写的准确性和独立贡献
   • 计算公式：调和平均数(P_rel, P_ic)

2. 全局相关性(Global Relevance)：

   • 评估整个改写集的集体效用
   • 计算公式：|Ir| / |Ib|

3. 有效相关性(Effective Relevance)：

   • 惩罚冗余查询
   • 计算公式：|Ir| / |Ib'|

实验表明，使用GSPO算法优化ER奖励的效果最佳，相比基线提升约30%。

3.2 验证器的多模态数据处理

相关性验证器处理的信息维度：

这种多源信息整合使验证器的F1分数达到91.53%，远超传统方法。

4. 实际应用效果与业务价值

LEAPS自2025年8月全面部署以来，取得了显著的商业和技术成果：

1. 用户体验提升：

   • 对话式查询的点击率提升42%
   • "零结果"率降低68%
   • 用户停留时间增加25%

2. 技术指标优化：

   • 头部查询F1分数达94.31%
   • 长尾查询覆盖率提升55%
   • 平均延迟控制在190ms以内

3. 商业价值：

   • 月度GMV提升3.2%
   • 转化率提高1.8%
   • 每月服务数亿用户

5. 对电商搜索未来的启示

LEAPS的成功实践为电商搜索系统的发展指明了几个关键方向：

1. 渐进式演进优于颠覆式重构：

   • 插件式架构保护现有投资
   • 允许逐步优化而非全盘替换

2. LLM与传统系统的协同：

   • 利用LLM的语义理解能力
   • 保留传统系统的高效检索特性

3. 多样性vs相关性的平衡：

   • 不仅关注单个查询效果
   • 更重视查询集整体表现

4. 工程与算法的共同优化：

   • 算法创新需要配套工程支持
   • 实际部署考虑延迟和资源限制

在实际应用中，我们需要注意几个关键点：

1. 冷启动问题：新查询需要足够的反馈数据
2. 长尾覆盖：持续优化低频查询表现
3. 个性化平衡：避免过度依赖用户历史导致信息茧房

LEAPS框架展示了如何将前沿AI技术与工业级系统需求相结合，为电商搜索乃至更广泛的信息检索领域提供了宝贵的实践经验。这种"智能插件"的思路也可能启发其他领域的系统优化，在不颠覆现有架构的前提下实现能力跃升。