structured softmax-ownership volume

新方法提高了多模态大语言模型在膳食评估中的份量估计准确性

研究人员开发了一种新颖的方法，以提高多模态大语言模型（MLLMs）在基于图像的膳食评估中的份量估计准确性。所提出的技术包括向冻结的DINOv2骨干网络添加一个增强几何的小型网络，该网络处理MLLM的食物名称、边界框和密度范围输出。与单独使用MLLM相比，该方法将每种食物的份量误差显著降低了33-41%，在无需MLLM微调的情况下，在此任务上优于Gemini、GPT和Claude等当前旗舰模型。