Weihao Liu

新的LT-Tuning框架通过融合潜在和显性思维模式来增强LLM推理能力

研究人员推出了一种新颖的训练后框架Latent Thoughts Tuning (LT-Tuning)，旨在增强大型语言模型 (LLM) 的推理能力。该方法通过采用上下文-预测-融合机制，将上下文隐藏状态与词汇嵌入空间的语义指导相结合，解决了现有潜在空间推理的局限性。LT-Tuning还设有一个课程学习管道，允许在潜在和显性思维模式之间动态切换，与当前的潜在推理基线相比，在推理准确性和特征塌陷缓解方面表现出改进。