ContractNLI
PulseAugur coverage of ContractNLI — every cluster mentioning ContractNLI across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
研究发现语言模型可在推理过程中学习
一篇新的研究论文探讨了语言模型在推理过程中学习的概念，这一过程被称为动态评估。研究发现，当标准 softmax-attention 模型在文本块上执行梯度步骤时，其下一个 token 损失显著降低，并且在长上下文基准测试中优于冻结模型。然而，这种适应性主要提高了风格和词汇回忆能力，而非事实检索能力。对于掩码扩散模型，适应性更为明显，带来了实质性的提升。研究还表明，通过将模型自身的结论条件判断蒸馏到一个低秩适配器中，在 GSM8K 等任…
-
Autotrust发布两款在Decision Index上评估的决策AI模型
Autotrust发布了两款新模型，AutoTrust-JEV-27B-v1.1和AutoTrust-Decider-Pro-Vision-27B-v1.1，它们专为结构化决策而设计。这些模型为答案选项分配概率，并在Decision Index 0.3公共套件上进行了评估。评估突出了它们在工具选择、意图分类和日常自动化方面的优势，尤其是在“工具与自动化”类别中取得了成功。
-
研究发现：大型语言模型未能始终依据引用的权威来做出法律判决
一篇新近发表在arXiv上的研究表明，大型语言模型在用于论证法律判决时，常常会引用正确的法规或先例，但并未始终以其为依据。研究人员发现，即使在案例事实保持不变而引用的法律权威被替换的情况下，模型的判决结果也发生了不一致的变化。这表明引用法律权威是判决对其依赖性的一个薄弱指标，模型仍然容易受到对抗性操纵。
-
大型语言模型引用法律条文但未能展示真实推理
一项新研究表明，大型语言模型（LLMs）尽管能够引用相关法规或先例，但常常未能展示真实的法律推理能力。研究人员发现，当被要求通过引用法律权威来证明判决时，LLMs 总是能正确引用。然而，当将引用的权威替换为不相关的条文时，模型的判决会不一致地改变，这表明模型并未真正依赖所引用的法律进行因果推理。这种漏洞在各种模型和基准测试中均有发现，表明当前 LLM 生成的法律解释可能不是忠实法律推理的可靠指标。
-
新方法在无人工标注的情况下恢复大语言模型判决的证据段落
研究人员开发了新方法，在只有最终判决可用时，为审查工作流恢复证据段落。在ContractNLI数据集上测试了仅标签后训练和拒绝采样技术。与预训练相比，这两种方法在准确率和跨度F1分数上都有所提高，其中仅标签训练的准确率为0.896，跨度F1为0.564。这些方法旨在无需人工标注段落即可增强证据恢复能力。
-
新的HARDEN方法创建了更难、更真实的LLM评估案例
研究人员开发了HARDEN，一种新颖的约束进化搜索方法，旨在为语言模型创建更具挑战性的评估案例。该技术通过修改输入同时保留预期输出来调整现有评估场景，从而更好地反映真实企业部署的复杂性。在多个基准测试和不同规模的Qwen3.5模型上，HARDEN显著降低了任务模型准确率，凸显了当前评估方法的局限性以及进化搜索生成更鲁棒测试案例的潜力。