实体 FreqBLiMP

FreqBLiMP

PulseAugur coverage of FreqBLiMP — every cluster mentioning FreqBLiMP across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_245023 · Sep 10 · 04:00

新基准 FreqBLiMP 测试大型语言模型对罕见词的鲁棒性

研究人员开发了 FreqBLiMP，这是一个旨在通过控制词汇频率来评估大型语言模型 (LLM) 鲁棒性的新基准。这是 BLiMP 基准的扩展，专门解决了现有评估中对词频的忽视问题，词频是自然语言使用中的一个重要因素。FreqBLiMP 在明确的 Zipf 频率模型下重新生成最小对范式，以测试在罕见词情况下语法偏好是否能保持。对各种 LLM 系列的初步评估表明，虽然降低词汇频率会持续降低句子可能性，但对整体对比准确率的影响仅为中等。然而…