mDeBERTa-v3

新框架检测僧伽罗语到英语机器翻译中的幻觉

研究人员开发了一个新颖的框架来检测僧伽罗语到英语神经机器翻译中的病理性幻觉。该系统利用了一个包含 45,000 个样本的合成数据集，该数据集是通过五种损坏策略和一种语义救援机制创建的。微调后的 mDeBERTa-v3 模型在 token 级别达到了 0.841 的 F1 分数，并且通过神经风险分数、序列对数概率和跨语言嵌入的集成进一步提高了检测准确率，AUROC 达到了 0.970。研究还揭示了八种不同 NMT 系统在幻觉率方面存在显著差异。