研究人员推出了WearableQA,这是一个旨在利用真实世界可穿戴设备数据评估AI系统健康推理能力的新基准。该基准包含超过4000个多项选择题,这些题目源自200名个体的纵向可穿戴设备时间序列、血液生物标志物和人口统计学数据。WearableQA的结构旨在测试不同的推理技能,包括数据推理与健康推理,以及单一信号与跨信号集成,同时保留真实的可穿戴设备数据分布。对14个大型语言模型的评估显示出广泛的性能差异,大多数模型的得分低于60%,表明该基准仍然具有挑战性。 AI
影响 该基准有望推动更复杂的AI模型的发展,使其能够理解和解释来自可穿戴设备的复杂健康数据。
排序理由 该集群包含一篇介绍AI健康推理新基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →