研究人员开发了 HARNESS-LM (HLM)，一种新颖的三阶段训练框架，旨在将大型语言模型的能力转移到紧凑、高效的模型中，用于赞助搜索检索。该方法包括训练一个高性能的“教师”模型，将其知识蒸馏到一个更小的“学生”编码器中，然后优化学生模型以获得最佳检索性能。HLM 成功恢复了教师模型超过 98% 的精度，同时显著降低了延迟并提高了吞吐量，通过在 Bing Ads 上的 A/B 测试证明了其实际效果。 AI
影响 使得强大的语言模型能够在对延迟敏感的应用中部署，从而提高赞助搜索等领域的效率和性能。
排序理由 发表了一篇详细介绍语言模型新训练框架的学术论文。
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.23572v1 Announce Type: cross Abstract: In the competitive landscape of sponsored search, balancing retrieval quality with production latency is a critical challenge. While large retrieval models based on Small Language Models (SLMs) such as Qwen3-Embedding-4B/8B set st…
In the competitive landscape of sponsored search, balancing retrieval quality with production latency is a critical challenge. While large retrieval models based on Small Language Models (SLMs) such as Qwen3-Embedding-4B/8B set strong upper bounds on public benchmarks, their depl…