实体
Tiny Transformers
Tiny Transformers
PulseAugur coverage of Tiny Transformers — every cluster mentioning Tiny Transformers across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
小型Transformer模型通过“Protoreasoning”在AI分析中展现潜力
研究人员已证明，小型Transformer模型可以利用一种称为“Protoreasoning”的逐步推理形式。该技术允许对大约一百万参数的模型进行详细的实验和推理过程分析，这比处理大型、计算密集型模型更可行。通过将Protoreasoning应用于涉及Dyck语言（嵌套括号）的任务，研究发现这些推理痕迹显著缩小了分布外数据的泛化差距。消融研究证实，推理痕迹的内容，而不仅仅是其存在，对于这种改进至关重要。
-
小规模Transformer模型：输入路径对少样本学习至关重要，对零样本学习则不然
一项发表在arXiv上的新研究调查了不同的输入路径如何影响小型Transformer模型的绑定能力。研究发现，尽管零样本组合性能受归纳偏倚而非信息获取的限制，但少样本绑定效率受到参数共享和代码可读性的影响。研究还识别了不同输入路径的独特故障模式，其中符号路径在读出时丢失答案，索引路径则错误地绑定信息。