实体
Transformer Decoder
Transformer Decoder
PulseAugur coverage of Transformer Decoder — every cluster mentioning Transformer Decoder across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
G0.5模型将机器人推理与行动整合到单一流中
研究人员推出G0.5，这是一种新颖的自回归视觉-语言-行动（VLA）模型，它在一个Transformer解码器中整合了推理和行动生成。这种方法使VLM能够充当决策者，而不仅仅是上下文编码器。G0.5利用了一个可学习的行动分词器，用于共享的行动词汇表，一个用于交错推理和行动的思维链流，以及一个用于历史上下文的视觉记忆模块。该模型在七个不同的机器人基准测试中表现出最先进的性能，包括真实世界的机器人和长时程操作任务。
-
Transformer解码器如何生成文本：深度解析
Transformer解码器以自回归的方式生成文本，一次预测一个token，并将其反馈回模型以进行下一次预测。这个顺序过程是现代大型语言模型（LLMs）如何产生输出的核心。生成质量不仅取决于模型的内部表示，还取决于用于从概率分布中选择下一个token的解码策略，诸如温度缩放（temperature scaling）等技术会影响输出的随机性和多样性。
-
CogScale基准加速AI序列处理评估
研究人员推出CogScale，一个旨在高效评估AI架构序列处理能力的新基准。该基准包含14个可扩展的合成任务，允许在进行大量训练之前快速验证新设计。使用CogScale进行的初步评估测试了包括GRU、LSTM、Mamba和Transformer变体在内的七种不同架构，涵盖了各种参数预算和难度级别。