PulseAugur
中
实时 13:00:58
English(EN) Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study

小规模Transformer模型：输入路径对少样本学习至关重要，对零样本学习则不然

作者 PulseAugur 编辑部 · [2 个来源] ·

一项发表在arXiv上的新研究调查了不同的输入路径如何影响小型Transformer模型的绑定能力。研究发现，尽管零样本组合性能受归纳偏倚而非信息获取的限制，但少样本绑定效率受到参数共享和代码可读性的影响。研究还识别了不同输入路径的独特故障模式，其中符号路径在读出时丢失答案，索引路径则错误地绑定信息。 AI

影响 为理解Transformer模型的内部工作机制提供了见解，可能指导未来架构的改进，以实现更好的少样本学习。

排序理由 该集群包含一篇发表在arXiv上的研究论文，详细介绍了Transformer模型行为的发现。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

小规模Transformer模型：输入路径对少样本学习至关重要，对零样本学习则不然

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Yoshiyuki Ootani ·

    输入路径影响小样本学习而非零样本学习的绑定：一项完全可枚举的研究

    arXiv:2607.04926v1 Announce Type: cross Abstract: How does the way information reaches a transformer -- as symbolic tokens, a clean per-factor "oracle" code, or an entangled perceptual vector -- shape whether it binds that information compositionally? We study ~6-10K-parameter tr…

  2. arXiv cs.AI TIER_1 English(EN) · Yoshiyuki Ootani ·

    输入路径影响小样本学习而非零样本学习的绑定，针对全可枚举的微型Transformer研究

    How does the way information reaches a transformer -- as symbolic tokens, a clean per-factor "oracle" code, or an entangled perceptual vector -- shape whether it binds that information compositionally? We study ~6-10K-parameter transformers on finite factored worlds enumerated ex…

相关实体

相关话题