Gi Hyeon Sim

新的PonderTTT方法优化了代码生成的LLM计算

研究人员开发了PonderTTT，一种用于大型语言模型自适应计算分配的新颖策略，特别适用于代码生成任务。该方法利用测试时训练（TTT）层的自监督重构损失来动态决定何时应用更新，而无需单独的学习分类器。在The Stack v2数据集上使用GPT-2模型进行的实验表明，PonderTTT可以实现显著的性能提升，优于随机跳过，并且即使在分布外语言上也能保持高Oracle恢复率。