Citation Trustworthiness

新基准评估人工智能生成的法律报告中的引文可信度

研究人员开发了LegalCiteTrust，一个旨在评估中文长篇法律研究报告中引文可信度的新基准。该基准从覆盖度、支持度和引文可信度三个维度评估报告，其中引文可信度又细分为存在性、保真度和适用性（E/F/A）。使用各种LLM和研究系统进行的实验表明，检索工具可以增强证据支持，但不能可靠地提高引文可信度。研究结果表明，可靠的法律研究生成需要引文感知治理，确保检索到的法律权威不仅被找到，而且被准确描述并恰当应用。