Weimin Liu

基于 LLM 的扩散模型增强驾驶员注意力预测

研究人员开发了 DiffAttn，一个用于预测驾驶员视觉注意力的、新颖的基于扩散的模型框架。该系统集成了 Swin Transformer 用于场景特征提取，以及特征融合金字塔用于增强去噪和上下文建模。一项关键创新是引入了一个大型语言模型 (LLM) 层，以改进语义推理并识别安全关键线索。在多个数据集上的实验表明，DiffAttn 的性能优于现有方法，为提高智能车辆安全性和驾驶员理解力提供了潜力。