MTSS-Net

新的 CANDI-QA 数据集揭示了 LLM 在专业领域的局限性

研究人员推出了 CANDI-QA，这是一个旨在评估大型语言模型 (LLM) 在专业领域提供准确且上下文对齐答案的能力的新数据集。该数据集包括事实查询和需要情境推理的多跳推理任务。对十多个 LLM 的评估显示，在实现上下文对齐方面存在重大挑战，这凸显了当前模型在没有增强的符号推理或上下文信息集成的情况下存在局限性。CANDI-QA 旨在推动在面向高风险领域的值得信赖的 AI 的发展。