实体 HindsightBench

HindsightBench

PulseAugur coverage of HindsightBench — every cluster mentioning HindsightBench across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_156463 · Jul 22 · 04:00

新的HindsightBench协议审计LLM是否存在泄露未来知识的现象

研究人员开发了HindsightBench，一种新的协议，用于审计大型语言模型是否存在“参数滞后”（parametric hindsight），即模型倾向于将未来结果的知识泄露到历史决策任务中。这种黑盒方法无需回测或访问模型内部即可进行成本效益高的审计。当应用于15个模型时，HindsightBench显示日期触发的反射与训练代数相关，而非模型规模，并且较新的模型更强烈地表现出这种特征。该协议还发现，有效的知识截止日期差异很大，并且可…