tritify

新的运行时确保跨硬件的可复现AI模型推理

一个名为tritify的新开源运行时已被开发出来，以确保AI模型的确定性和可复现推理。该运行时完全在精确整数算术中执行模型，将浮点运算限制在离线量化和验证过程中。它已在各种模型上进行了测试，包括仅解码器语言模型、混合专家解码器以及Segment Anything 2.1图像/视频堆栈，在不同的硬件、指令集架构甚至跨多台联网机器分布式部署的情况下，都展示了位相同的输出。