实体
BDH (Dragon Hatchling)
BDH (Dragon Hatchling)
PulseAugur coverage of BDH (Dragon Hatchling) — every cluster mentioning BDH (Dragon Hatchling) across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
RNN、Transformer 和 SSM：AI 内存的真正归宿
本次讨论探讨了循环神经网络（RNN）、Transformer 和状态空间模型（SSM）在内存管理方面的根本区别。RNN 使用紧凑的循环隐藏状态，这可能成为瓶颈。相比之下，Transformer 将过去的表示形式存储为键值对，创建了一个大型但动态的上下文缓存，与固定权重分开。SSM（如 Mamba）提供了一个折衷方案，具有依赖输入的状体压缩，这引发了关于内存压缩是固有局限性，还是架构可以更好地将内存与内部网络结构集成（如 BDH (Dr…
-
Pathway 的受大脑启发的 BDH 架构在 Amazon SageMaker HyperPod 上开发
Pathway 是一家开发人工智能系统的公司，它创建了一种新颖的、受大脑启发的架构，称为 BDH（Dragon Hatchling），它超越了传统的 Transformer 模型。该架构在潜在空间中执行推理，在推理过程中调整其内部内存，而无需生成中间文本痕迹或为新知识进行重新训练。Pathway 正在利用 Amazon SageMaker HyperPod 来扩展 BDH 的开发和训练，并利用其高效计算资源管理的能力。