实体
Recurrent-Depth Transformer
Recurrent-Depth Transformer
PulseAugur coverage of Recurrent-Depth Transformer — every cluster mentioning Recurrent-Depth Transformer across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
RD-ViT 降低分割数据需求，参数更少，性能优于标准 ViT
研究人员开发了 RD-ViT，一种用于语义分割任务的新型循环深度视觉Transformer。该架构通过使用一个共享的、循环多次的Transformer块，显著降低了数据依赖性，这与需要为每一层使用独特参数的传统视觉Transformer不同。RD-ViT 结合了自适应计算时间和混合专家等技术来提高效率和专业化，在心脏MRI分割基准测试中，以更少的数据和更少的参数展示了改进的性能。
-
OpenMythos 项目重建 Anthropic 秘密的 Claude Mythos AI 模型
一个名为 OpenMythos 的新开源项目已发布，旨在理论上重建 Anthropic 的 Claude Mythos 模型的架构。该项目实现了一个循环深度 Transformer (RDT)，其独特结构包括前奏、循环递归块和尾声。RDT 设计通过在单次前向传播中多次重复利用部分层来实现深度可变推理，这与思维链处理不同。