一个名为 OpenMythos 的新开源项目已发布,旨在理论上重建 Anthropic 的 Claude Mythos 模型的架构。该项目实现了一个循环深度 Transformer (RDT),其独特结构包括前奏、循环递归块和尾声。RDT 设计通过在单次前向传播中多次重复利用部分层来实现深度可变推理,这与思维链处理不同。 AI
影响 为探索新颖的 Transformer 架构及其进行更深层推理的潜力提供了一个开源框架。
排序理由 对专有模型架构进行开源理论重建。
在 Mastodon — fosstodon.org 阅读 →
- Anthropic
- Claude Mythos
- CUDA
- FineWeb-Edu
- Flash Attention 2
- OpenMythos
- Recurrent-Depth Transformer
- Transformer
AI 生成摘要 · Google Gemini · 来自 5 个来源。 我们如何撰写摘要 →