实体
Dwork
Dwork
PulseAugur coverage of Dwork — every cluster mentioning Dwork across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LLM评估偏差：赢家诅咒夸大了性能指标
在LLM评估中，一种常见的做法是针对固定数据集测试多个提示变体，并选择表现最佳的一个，这可能导致性能指标虚高。这是由于“赢家诅咒”，即嘈杂测量值的最大值本身就存在向上偏差。例如，在一个包含250个样本的数据集上测试四十个提示变体，即使没有取得实际进展，也可能产生约五分的表观改进。研究人员建议采用分离开发集和确认集、根据实验次数调整性能阈值、仔细记录数据集查询次数以及定期刷新评估集等做法来缓解这种偏差。
-
新理论统一计算硬度和随机性
研究人员开发了一种统一的伪熵表征，加强了计算硬度和随机性之间的关系。这种新表征适用于均匀和非均匀计算模型，并涵盖了香农熵和最小熵等各种熵概念。一项关键的技术进展涉及使用权重受限校准和计算不可区分性，与以前的方法相比，这在字母表大小依赖性方面带来了指数级的改进。