Test-Time Training on Graphs with Large Language Models (LLMs)
PulseAugur coverage of Test-Time Training on Graphs with Large Language Models (LLMs) — every cluster mentioning Test-Time Training on Graphs with Large Language Models (LLMs) across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
本科生寻求在LLM的测试时训练方面进行研究合作
一位来自印度二线大学的本科生正在寻求研究机会和计算资源，用于在大型语言模型（LLM）上进行测试时训练（TTT）。该学生有一篇关于LLM自解释方法的论文草稿，计划提交给TMLR，并认为TTT将在未来几年成为一个重要领域。他们正在寻找能够提供指导和超出其当前机构范围的机会的合作者或导师。
-
新的TTPO方法在无标签情况下增强LLM数学推理能力
研究人员开发了一种名为测试时策略优化（TTPO）的新颖方法，用于在不依赖真实标签的情况下提高大型语言模型的数学推理能力。TTPO通过采用一种不对称目标来解决使用多数投票伪标签的脆弱性，该目标会蒸馏同意的展开并惩罚不同意的展开。这种方法包括用于精炼的token级选择，在基准测试中表现出色，显著提高了Qwen3-1.7B模型的准确性，并显示出强大的跨任务泛化能力。
-
新的RAD框架通过全局记忆和局部注意力增强长视频生成
研究人员引入了一个名为循环自回归扩散（RAD）的新框架，旨在改进长视频生成。RAD将时间循环神经网络（RNN）层（特别是LSTM）集成到扩散Transformer模型中，以增强长视频序列的记忆压缩和检索。这种方法解决了先前模型使用滑动窗口注意力所存在的局限性，这些模型由于遗忘和时空不一致性而在长期一致性方面遇到困难。在Memory Maze和Minecraft数据集上的实验表明，RAD在生成具有全局记忆和局部注意力的长视频方面是有效的。
-
新方法解决持续学习中的灾难性遗忘问题 · 跟踪8个来源
研究人员正在开发新方法来解决持续学习中的灾难性遗忘问题，即模型在学习新任务时会丢失先前获得的知识。几篇论文提出了新颖的技术，包括可学习的小波激活、技能引导的自适应记忆检索和持续蒸馏学习。其他方法侧重于表示微调、激活加权自适应保留和分组 LoRA 适配器合并，以提高模型的塑性和稳定性。这些进展旨在使模型能够更有效地进行顺序学习并适应不断变化的数据流。
-
SR-TTT 模型未能学习检索，论文修正揭示
最近的一篇 arXiv 论文修正了关于 SR-TTT 模型的先前发现，证明其未能有效学习检索机制。作者将报告的在 Needle-in-a-Haystack 任务中的收益归因于评估伪影和非因果注意力机制。他们修正后的实现和分析表明，即使改进了寻址机制，SR-TTT 也无法准确存储和检索信息，因此撤回了原始声明。
-
Galaxy General 推出 WAM-TTT，使机器人能够从人类视频中学习
Galaxy General 发布了全球首个用于具身人工智能模型的测试时训练（TTT）框架 WAM-TTT。该框架允许机器人在物理环境中利用人类演示视频进行实时学习和适应，解决了泛化能力衰减的关键问题。通过冻结基础模型并更新轻量级记忆模块，WAM-TTT 显著降低了数据收集成本，并实现了持续学习而不会发生灾难性遗忘，为具身人工智能的可扩展部署铺平了道路。
-
新型异步感知机实现高效测试时训练
研究人员推出了一种新颖的异步感知机（APM）架构，专为高效测试时训练（TTT）而设计。APM 可以按任意顺序处理图像块，使其能够在没有先验数据集特定训练的情况下识别分布外图像。该系统通过从测试样本中提取单一表示来预测语义感知特征，从而在性能上与现有的 TTT 方法相媲美。除了 TTT，APM 还展示了单通道 2D 图像语义聚类的潜力，并为输入感知作为场的观点提供了经验支持。
-
新研究探索自适应大语言模型评估和自我改进技术 · 追踪10个来源
研究人员正在开发新的方法来评估和改进大语言模型（LLMs）。一种名为ATLAS的方法使用项目反应理论，显著减少了准确评估LLM所需的项目数量，需求减少高达90%。另一项研究将信号检测理论应用于衡量LLM的元认知效率，揭示置信信号和准确性并不总是对齐，并且在不同模型之间存在显著差异。此外，一个名为“Double Ratchet”的框架与LLM代理技能共同演进评估指标，即使在最初没有可靠指标的情况下也能实现自我改进。
-
新的上下文微调方法增强了LLM的少样本适应能力
研究人员推出了一种名为上下文微调（Context Tuning）的新颖方法，旨在无需更新权重即可提高大型语言模型（LLM）的少样本适应能力。该技术利用模型的上下文学习能力初始化一个可训练的记忆表示，然后通过基于梯度的优化进行精炼。在MMLU和BIG-Bench Hard等多个基准测试上的评估表明，上下文微调在性能上超越了传统的上下文学习和基于提示的适应方法，同时在效率更高的情况下展现出与测试时训练相当的准确性。
-
新的帧遗忘网络（Frame Forgetting Network）解决了长视频的测试时训练问题
研究人员开发了一种名为帧遗忘网络（Frame Forgetting Network, FFN）的新方法，以改进长视频的测试时训练（Test Time Training, TTT）。现有的TTT方法在处理长达数小时的视频和对冗余帧进行更新时面临计算需求高的挑战。FFN通过每次仅处理三帧并引入“惊喜度量”（surprise metric）来根据新信息内容自适应地调整处理窗口，从而解决了这些问题。这种方法能够高效地适应长视频，在密集分割和视…
-
新理论解释并改进了人工智能模型的测试时训练
研究人员开发了一个决策理论框架，用于理解和改进测试时训练（TTT），这是一种将预训练模型适应特定提示的方法。新方法将TTT视为隐式贝叶斯推理，揭示了其有效性取决于更新是否与提示的信噪比相匹配以及是否与查询相关方向一致。这种理论视角解释了TTT的不稳定性，并为选择更新步骤和模型组件（如Transformer块和头）提供了原则性指导，以提高准确性并防止过拟合。
-
通过测试时训练实现视觉 Transformer 的线性化
研究人员开发了一种方法，使用测试时训练（TTT）将预训练的 Softmax 注意力模型适配到线性复杂度架构。该方法通过关注架构和表示的对齐来解决不同注意力机制之间的表示差距。该技术应用于 Stable Diffusion 3.5，产生了一个新模型 SD3.5-T$^5$，该模型在仅一小时的微调后，以显著更快的推理速度实现了可比的图像质量。