A-OKVQA

新理论通过选择最优控制器类别来指导LLM的行动决策

研究人员引入了“制度理论”（Regime Theory），以指导大型语言模型（LLM）如何为给定输入选择最佳行动。该理论根据数据可估计的瓶颈，将控制器分为四类：从简单的固定行动到复杂的先验门控控制器。该框架旨在通过考虑潜在的改进以及实例级信号的可靠性等因素来优化决策。在各种基准测试中的实验表明，预测的控制器类别与经验上的获胜者相匹配，其中先验门控控制器在TextVQA上表现最佳。