研究人员开发了新的方法来估计自回归模型生成的分布之间的全变分（TV）距离。这些方法解决了这样一个挑战：即使服务于相同模型权重的不同推理引擎，由于实现选择和优化，也可能产生不同的输出分布。所提出的算法在各种访问模型（包括样本访问、logit访问和噪声logit访问）下提供了改进的查询复杂度，实证评估证明了它们的实用性和鲁棒性。 AI
影响 提供了一种量化不同LLM推理引擎输出差异的方法，这对于模型评估和部署至关重要。
排序理由 该集群包含一篇学术论文，详细介绍了特定机器学习问题的新的理论和经验结果。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- autoregressive model
- Kullback–Leibler divergence
- Meel et al.
- SGLang
- Total variation distance of probability measures
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
