CK12-QA dataset

新型多模态模型JETRTQA改进教科书问答

研究人员开发了JETRTQA，一个新颖的多模态学习框架，旨在通过增强文档检索来改进教科书问答。该模型使用检索器-生成器架构，并结合多模态大语言模型来生成答案。JETRTQA通过结合成对排序和来自答案的隐式监督的联合训练来优化语义表示，从而提高对相关和不相关文档的区分能力。该方法在CK12-QA数据集上的表现显著优于先前最先进水平，实现了显著的准确性提升。