实体
Kawin Ethayarajh
Kawin Ethayarajh
PulseAugur coverage of Kawin Ethayarajh — every cluster mentioning Kawin Ethayarajh across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的RIPA度量提供了对词嵌入偏见改进的评估
一篇新发表在arXiv上的论文介绍了一种用于评估词嵌入中不期望关联的新度量RIPA。研究表明，在某些条件下，常见的去偏技术（如子空间投影）可能等同于在无偏语料库上进行训练。此外，研究还揭示了广泛使用的WEAT测试倾向于高估偏见，而提出的RIPA度量提供了更准确的评估，发现与训练语料库相比，带有负采样的跳字模型（SGNS）并未显著增加性别偏见，但可能放大刻板印象词汇的偏见。
-
新论文质疑了NLG模型的标准人类评估方法
一篇新发表在arXiv上的论文批评了自然语言生成（NLG）系统的标准人类评估协议。作者认为，常见的做法，特别是使用李克特量表，可能导致对人类偏好的评估不准确，甚至会颠倒真实的偏好方向。他们提出了一种名为系统级概率评估（SPA）的替代方法，用于评估故事生成等开放式任务，并证明了其在正确排序GPT-3模型大小方面的有效性。