Gemba

在没有人类审查的情况下评估古典文本中的大型语言模型翻译错误

研究人员开发了一种新颖的方法，可以在不需要人类参考的情况下评估大型语言模型（LLM）翻译古典文本的准确性。该研究侧重于巴利语到英语的翻译，比较了五个信号：来源新颖性、嵌入距离、同伴翻译分歧、回译和无参考GEMBA评分。由更强的LLM组成的专家小组进行的GEMBA评分被证明是最有效的无参考信号，成功识别了校准集和锚定集中很大一部分的错误。提出的工作流程结合了多个信号，以有效地分配古典语言翻译的人工审查资源。