Counterfactual Benchmark

新的CoBe基准测试AI在文本编辑中的因果推理能力

研究人员推出了反事实基准（CoBe），这是一个旨在测试AI模型执行反事实文本编辑能力的新数据集。这涉及到基于假设性更改来修改文本，同时保留不相关的事实，这项技能对于医疗和法律等敏感领域的推理至关重要。目前的前沿模型在这方面存在困难，通常会默认进行关联生成而不是因果推理，平均得分约为58%。性能与模型大小或输出长度不一定相关，这表明训练目标可能是限制因素。