Microsoft Advertising

HARNESS-LM 训练紧凑型模型以实现更快的赞助搜索检索

研究人员开发了 HARNESS-LM (HLM)，一种新颖的三阶段训练框架，旨在将大型语言模型的能力转移到紧凑、高效的模型中，用于赞助搜索检索。该方法包括训练一个高性能的“教师”模型，将其知识蒸馏到一个更小的“学生”编码器中，然后优化学生模型以获得最佳检索性能。HLM 成功恢复了教师模型超过 98% 的精度，同时显著降低了延迟并提高了吞吐量，通过在 Bing Ads 上的 A/B 测试证明了其实际效果。