实体
Veerendra Kumar Sunkavalli
Veerendra Kumar Sunkavalli
PulseAugur coverage of Veerendra Kumar Sunkavalli — every cluster mentioning Veerendra Kumar Sunkavalli across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的估计器解决了受污染锚点下的 LLM 评判误差相关性问题
一篇新论文介绍了一种封闭形式的估计器，旨在解决在使用外部参考集（锚点）时 LLM 评判面板中的误差相关性问题。该研究侧重于锚点本身可能被评判者共享误差污染的场景，这是一种常见的假设违反。所提出的方法即使在锚点不完全干净的情况下，也能估计质量方差、共模方差和锚点污染相关性。该估计器附带一个诊断电池，用于评估模型充分性并识别潜在偏差。
-
研究发现：LLM 论文评分者存在显著的评分偏见和版本不稳定性
一篇新发表在 arXiv 上的研究论文，考察了大型语言模型（LLM）作为论文评分者的可靠性和一致性。该研究将 LLM 视为人类评分者，发现在不同的 LLM 评分者和版本之间存在显著的评分偏见和版本不稳定性。尽管 LLM 表现出一定的自我一致性，但其准确性并未达到人类水平，并且在适当校准后，其表现出的“光环效应”与训练有素的人类评分者相当。