MarginGate

MarginGate论文确保BF16格式下LLM解码的可复现性

一篇新论文介绍了一种名为MarginGate的方法，用于确保大型语言模型（LLM）在即使使用更快的BF16格式时也能实现可复现的解码。这解决了批次请求顺序可能导致相同提示产生不同Token的细微错误。MarginGate通过选择性地重新检查易受数值不准确影响的低边距解码步骤来实现可复现性，从而与始终使用更精确的FP32验证相比，最大限度地减少了性能开销。