Substance Recognition Rate (SRR)

新基准揭示LLM在创意评估中偏好风格而非实质

一个名为SciStyleBench的新基准已被开发出来，用于诊断和减轻大型语言模型（LLMs）在评估科学创意时存在的风格偏见。该基准包括一个三阶段评估环境、风格偏见指数（SBI）和实质识别率（SRR）等量化指标，以及一个名为SciStyleExtractor的模块，旨在将内容与风格分离。实验显示，LLM评委常常被写作风格而非创意的科学实质所左右，但SciStyleExtractor模块在减少这种偏见和提高实质辨别能力方面显示出潜力。