实体
Gemba
Gemba
PulseAugur coverage of Gemba — every cluster mentioning Gemba across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
评估LLMs在英语-阿拉伯语方言翻译质量方面的表现
一篇新的研究论文评估了各种大语言模型（LLMs）在英语与16种不同阿拉伯语方言之间翻译的性能。该研究使用了MADAR数据集，并采用了BLEU、CHRF、COMET和GEMBA等多种指标来评估翻译质量。研究结果表明，尽管LLMs显示出潜力，但它们在处理阿拉伯语方言的多样性方面存在困难，并且潜在的训练数据污染仍然是一个令人担忧的问题。
-
在没有人类审查的情况下评估古典文本中的大型语言模型翻译错误
研究人员开发了一种新颖的方法，可以在不需要人类参考的情况下评估大型语言模型（LLM）翻译古典文本的准确性。该研究侧重于巴利语到英语的翻译，比较了五个信号：来源新颖性、嵌入距离、同伴翻译分歧、回译和无参考GEMBA评分。由更强的LLM组成的专家小组进行的GEMBA评分被证明是最有效的无参考信号，成功识别了校准集和锚定集中很大一部分的错误。提出的工作流程结合了多个信号，以有效地分配古典语言翻译的人工审查资源。