Rozado

新的掷骰子方法标准化了大型语言模型品牌推荐审计

研究人员引入了掷骰子方法（Dice Roll Method），这是一种用于审计大型语言模型（LLM）品牌推荐一致性的标准化协议。该方法解决了在LLM审计中，关于设置迭代次数、选择稳定性指标和建立可靠性阈值方面缺乏标准化程序的问题。该协议基于温度缩放核采样（temperature-scaled nucleus sampling）的生成模型，分解了响应方差，并根据可推广性目标为探索性、验证性和严格审计提供了分级指导。