extreme fidelity loss

新框架审计供应商托管的LLM API的质量下降问题

研究人员开发了Ventor-QTest，一个新颖的黑盒审计框架，用于验证供应商托管的大型语言模型（LLM）的推理API质量。该方法采用重复请求和长序列探测来分别测量平均保真度损失（AFL）和极端保真度损失（EFL）。研究结果表明，虽然AFL与基于logprob的指标相关性良好，但显著的EFL与长时序代理任务的性能下降有关，这表明EFL对于审计此类应用的重要性。