mSPRT

LLM 提示 A/B 测试存在误报风险；mSPRT 提供解决方案

使用标准的 A/B 测试方法测试 LLM 提示可能会因持续监控而导致误报。文章解释说，在实时仪表板上反复检查结果会增加纯粹偶然观察到统计学上显著差异的可能性，即使不存在真正的改进。提出的解决方案是混合序贯概率比检验 (mSPRT)，它提供了一个始终有效的区间，考虑了对数据的多次查看，尽管它需要更多数据才能达到相似的置信度水平。