Forking Fast

新的“Forking Fast”方法降低了LLM不确定性分析成本

研究人员开发了一种名为“Forking Fast”的新方法，可以更有效地分析大型语言模型文本生成中的不确定性动态。该方法解决了传统重采样方法的高计算成本问题，而传统方法会分析模型可能产生的潜在推理链的分布。研究表明，通过充分的重采样，不确定性模式会趋于稳定，这表明许多感知到的噪声是低样本数据的人工制品，而不是固有的模型敏感性。Forking Fast使用统计模型来平滑噪声数据，从而以显著降低的采样成本更准确地近似高样本结果。