Tiny Recursive Models
PulseAugur coverage of Tiny Recursive Models — every cluster mentioning Tiny Recursive Models across labs, papers, and developer communities, ranked by signal.
-
新的DART框架改进了用于复杂任务的循环推理模型
研究人员推出了一种名为分布对抗循环训练（DART）的新型框架，旨在增强循环推理模型（RRMs）的学习能力。DART通过使用目标分布围绕正确解，并利用对抗性目标来指导模型，从而用分布式监督取代实例级监督，解决了在复杂任务上训练RRMs的挑战。这种方法提供了更丰富的学习信号，促进了更稳定的迭代计算和更高的解质量。在迷宫、国际象棋和数独等问题上进行测试时，与标签平滑和渐进式训练等现有方法相比，DART表现出更强的鲁棒性和稳定性。
-
新研究探索大型语言模型中的递归和隐式推理
两篇新研究论文探讨了改进大型语言模型（LLMs）隐式推理的方法。第一篇论文介绍了“递归深度 Transformer”，它通过在相同的 Transformer 层上进行迭代计算来增强组合泛化能力。第二篇论文提出了“ReLIT”（递归隐式 Transformer），一个框架，通过添加一个可训练的递归块来增强一个固定的 LLM，在输出前优化潜在思维，旨在弥合符号推理与自然语言连贯性之间的差距。
-
概率性微型递归模型提升解谜准确率
研究人员开发了一种概率性微型递归模型（PTRM），以提高微型递归模型（TRM）在复杂推理任务上的性能。与可能陷入次优解的确定性 TRM 不同，PTRM 在递归过程中注入高斯噪声，从而实现随机探索。这使得能够并行探索各种解决方案路径，从而在 Sudoku-Extreme 和 Pencil Puzzle Bench 等基准测试中显著提高了准确性。PTRM 以少量参数和远低于前沿 LLM 的成本实现了高准确率。