研究人员推出了BALMS,这是一个旨在评估基于大型语言模型(LLM)的代理系统进行纵向心理健康感知能力的新基准。该基准利用三个真实世界数据集和两个任务家族,专注于预测幸福感得分和生成基于证据的推理。初步研究结果表明,零样本代理难以超越简单的基线,只有在更强的LLM骨干或更有意义的特征下,性能才会提高。思维链提示在推理任务方面显示出潜力,但不能持续保证时间准确性或数值准确性。 AI
影响 该基准可以加速开发能够进行持续健康监测和个性化反馈的更复杂的AI代理。
排序理由 该集群描述了一篇介绍用于特定领域LLM代理评估基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →