实体
Kawin Ethayarajh
Kawin Ethayarajh
PulseAugur coverage of Kawin Ethayarajh — every cluster mentioning Kawin Ethayarajh across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新的KTO方法使用前景理论对齐大型语言模型，性能媲美DPO
研究人员推出了一种新颖的大型语言模型与人类反馈对齐的方法，称为KTO（Kahneman-Tversky Optimization）。KTO基于Kahneman和Tversky开发的前景理论框架，该框架描述了人类如何感知随机变量，特别是他们对损失厌恶的倾向。所提出的方法直接根据该前景理论模型最大化生成文本的效用，而不是像直接偏好优化（DPO）等方法那样优化偏好似然性。实验表明，KTO在各种模型规模上都能匹配或超越现有的基于偏好的方法，证…
-
新的RIPA度量提供了对词嵌入偏见改进的评估
一篇新发表在arXiv上的论文介绍了一种用于评估词嵌入中不期望关联的新度量RIPA。研究表明，在某些条件下，常见的去偏技术（如子空间投影）可能等同于在无偏语料库上进行训练。此外，研究还揭示了广泛使用的WEAT测试倾向于高估偏见，而提出的RIPA度量提供了更准确的评估，发现与训练语料库相比，带有负采样的跳字模型（SGNS）并未显著增加性别偏见，但可能放大刻板印象词汇的偏见。
-
新论文质疑了NLG模型的标准人类评估方法
一篇新发表在arXiv上的论文批评了自然语言生成（NLG）系统的标准人类评估协议。作者认为，常见的做法，特别是使用李克特量表，可能导致对人类偏好的评估不准确，甚至会颠倒真实的偏好方向。他们提出了一种名为系统级概率评估（SPA）的替代方法，用于评估故事生成等开放式任务，并证明了其在正确排序GPT-3模型大小方面的有效性。