MATH Level-5

新诊断工具评估LLM测试时协作的有效性

研究人员开发了一个新的诊断框架，用于评估大型语言模型（LLM）测试时协作技术的有效性。该框架称为“固定池诊断”（Fixed-Pool Diagnostic），将自洽性（self-consistency）和批评模型（critic models）等方法的收益分解为可衡量的因素，例如可恢复质量（recoverable mass）和信号保真度（signal fidelity）。研究发现，收益通常受“Oracle Gap”和验证器判决与真实标签…