Apple Machine Learning Research 推出了 ARBITRAGE，这是一个旨在提高大型语言模型 (LLM) 在推理任务中效率的新框架。传统的推测解码方法在推理时常常会因为不必要的拒绝而遇到困难，即使是在步级别也是如此。ARBITRAGE 通过采用一个动态路由系统来解决这个问题，该系统经过训练，能够预测目标模型何时会提供一个显著更好的推理步骤，从而近似一个理想的预言机，以实现最佳的效率-准确性权衡。与现有的步级别推测解码基线相比，这种方法在数学推理基准测试中已证明推理延迟最多可减少 2 倍，同时保持了相当的准确性。 AI
影响 可能显著降低 LLM 中复杂推理任务的推理成本。
排序理由 研究论文，详细介绍了一种提高 LLM 推理效率的新方法。 [lever_c_demoted from research: ic=1 ai=1.0]
在 Apple Machine Learning Research 阅读 →
- Apple Inc.
- ARBITRAGE
- Chain of Thoughts
- large-language models
- Lawrence Berkeley National Laboratory
- speculative decoding
- University of California, Berkeley
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
