实体
Parcae
Parcae
PulseAugur coverage of Parcae — every cluster mentioning Parcae across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
研究量化了循环 Transformer 中的梯度损失
一篇新的研究论文调查了截断反向传播对循环 Transformer 的影响，这是一种将单个层块重复使用多次的技术。该研究测量了仅通过最后 k 个循环反向传播所产生的梯度损失，发现损失的梯度集中在输出附近，并在微调过程中显著减少。研究还表明，用于估算训练成本的简单规则可能与直接测量梯度一样有效。
-
Together 发布开源推理模型 Parcae
Together 发布了 Parcae，一个开源推理和 OSS 模型。更多详情请参见提供的链接。
-
Together AI发布Parcae，一种稳定的循环模型架构
Together AI推出了Parcae，一种新颖的、稳定的循环语言模型架构。这种新设计通过增加循环而非仅扩展数据，使模型能够在使用显著更少参数的情况下达到大型Transformer的质量。Parcae展示了比以往循环模型更高的稳定性，并为这类架构建立了首个缩放定律，为训练内存受限的设备端模型提出了更高效的方案。