OmniTrace

OmniTrace框架实现全模态大语言模型溯源

研究人员开发了OmniTrace，一个新颖的框架，旨在将全模态大语言模型生成的文本归因于输入数据的特定部分。该方法在生成过程中运行，利用晚期注意力来识别文本块、图像或音频/视频片段等源单元，而无需额外的正向传递或特定于模态的调整。与传统的留一法相比，OmniTrace在效率和准确性方面表现出色，能够恢复高比例的归因信息，并与人类识别的证据高度一致。