RICO dataset

语言模型与启发式UI质量评分的一致性较弱

一篇新的arXiv论文调查了启发式评估与基于语言模型（LM）的移动用户界面质量评估之间的差异。研究人员构建了一个包含15,000个移动界面屏幕的大型数据集，并收集了来自六名启发式评分员和三款开源语言模型的超过270,000个评分。研究发现，启发式评分与LM评分之间的一致性持续较弱，kappa分数通常低于0.15。尽管这种差异表明存在系统性偏差和弱协变，而非完全缺乏关联，但LM评分与界面结构属性的相关性不如启发式评分。