一个名为tritify的新开源运行时已被开发出来,以确保AI模型的确定性和可复现推理。该运行时完全在精确整数算术中执行模型,将浮点运算限制在离线量化和验证过程中。它已在各种模型上进行了测试,包括仅解码器语言模型、混合专家解码器以及Segment Anything 2.1图像/视频堆栈,在不同的硬件、指令集架构甚至跨多台联网机器分布式部署的情况下,都展示了位相同的输出。 AI
影响 实现了可验证的分布式推理,可能增强AI部署的信任和安全性。
排序理由 详细介绍可复现AI推理新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →