研究人员开发了低精度设置下快速矩阵乘法的新方法，特别解决了语言模型中的前缀不变性问题。标准的快速矩阵乘法技术会通过混合标记行来引入错误，从而损害前缀不变性——这是多项选择任务中准确计算似然得分的关键属性。研究表明，即使在看似准确的FP8实现中，OpenBookQA等基准测试中的模型答案也可能发生重大变化。为了解决这个问题，他们提出了经过认证的实现，保证与规定的整数运算符的比特级相等性，确保实现的选择不会改变得分的似然性，从而使决策纯粹基于成本。 AI
影响 确保大型语言模型中的计算选择不会改变模型输出，从而实现更高效、更可靠的推理。
排序理由 学术论文，详细介绍了大型语言模型计算的新颖技术方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
