IRC-Bench

新的IRC-Bench数据集解决了个人回忆中隐式实体的识别问题

研究人员推出了IRC-Bench，这是一个新的基准，旨在评估个人回忆叙事中隐式实体的识别能力。该基准解决了在实体没有被明确提及，而是通过语境线索间接引用时识别人物、地点或事件的挑战。IRC-Bench包含超过25,000个源自个人转录本的样本，对比了实体被明确命名和直接提及被移除的叙事。研究发现，在开放世界设置中，经过QLoRA适配的Llama 3.1 8B模型表现最佳，而在封闭世界检索中，经过微调的DPR模型表现领先。