实体
BrailleBench
BrailleBench
PulseAugur coverage of BrailleBench — every cluster mentioning BrailleBench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新基准揭示视觉语言模型在盲文识别方面存在困难
研究人员开发了BrailleBench，一个包含259张真实世界盲文图像的新基准数据集，用于评估视觉语言模型（VLMs）识别盲文的能力。他们的发现表明，虽然通用VLMs在此任务上的表现不佳，但借助工具的系统取得了更好的结果。研究还突显了合成数据和真实世界图像之间性能的显著差距，表明仅在合成数据上训练的模型在实际应用中表现不佳。然而，通过在一个精心设计的合成盲文生成管道上训练一个2B VLM，研究人员取得了显著的改进，在Grade-1盲…
-
新基准测试 LLM 盲文理解能力
研究人员开发了 BrailleBench，这是一个旨在评估大型语言模型 (LLM) 盲文理解能力的新基准。该基准包含数学、常识和问答任务中的 5,500 多个实例，同时使用一级和二级盲文。对六个 LLM 的初步评估显示，它们在英语语言能力与理解和生成盲文（尤其是二级盲文输入）的能力之间存在显著的性能差距。