实体 PinyinBench

PinyinBench

PulseAugur coverage of PinyinBench — every cluster mentioning PinyinBench across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_342155 · Nov 5 · 05:00

新基准揭示语言模型在汉字声调方面存在困难

研究人员开发了拼音基准（PinyinBench），这是一个旨在评估语言模型关于汉字语音知识的新基准。该基准在同音词、声母、韵母和声调等语音特征以及多音字方面评估模型。研究结果表明，虽然模型在识别声母和韵母方面表现出色，但在区分词汇声调方面却面临显著困难，其中一个前沿模型在同音词判断上得分超过90%，但在仅声调不同的情况下得分降至72%。探针和激活引导实验表明，音段信息比声调信息更容易获取和操纵，这表明当前的训练方法可能未能充分捕捉或利…