MedNLI

Medical QA RAG trainability hinges on checker output distribution, not accuracy

一篇新研究论文探讨了使用由自然语言推理（NLI）检查器指导的检索增强生成（RAG）的医学问答系统的可训练性。研究表明，在训练过程中，检查器的输出分布（而非其在未见数据上的准确性）对于提供可训练梯度至关重要。研究确定了三个关键发现：当LLM对大多数声明进行对数概率评分时会发生信号崩溃，适度的信号强度通过避免奖励欺骗级联带来更好的答案质量，以及信号强度是策略依赖的。