Kyubyung Chae

新基准评估LLM在法律法规问答中的安全性和检索能力

研究人员推出SearchFireSafety，一个旨在评估大型语言模型在以法规为中心的法律问答中性能和安全性的新基准。与以往侧重于判例法的基准不同，SearchFireSafety解决了从层级链接的法规文档中检索信息的挑战，并评估模型在上下文不足时弃答的能力。实验表明，虽然图引导检索提高了性能，但领域适应模型表现出关键的安全权衡，在缺少关键法规证据时更容易产生幻觉。