实体
Zyphra AI
Zyphra AI
PulseAugur coverage of Zyphra AI — every cluster mentioning Zyphra AI across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的注意力机制使大型语言模型能够处理数百万个token
研究人员正在开发新的注意力机制,以处理大型语言模型中极长的上下文,目标是克服传统方法的二次成本。论文介绍了递归稀疏注意力(RecSA)和潜在稀疏注意力(LSA)等技术,这些技术使用分层聚类或树状索引来选择相关信息,显著降低了计算成本和内存使用量。这些方法在保持准确性的同时,使模型能够处理数百万个token的上下文窗口,并实现预填充和解码的显著加速。
-
Zyphra的ZAYA1-8B MoE模型在AMD硬件上训练,表现优于更大模型
Zyphra AI发布了ZAYA1-8B,一个专家混合(MoE)语言模型,拥有7.6亿个活跃参数和84亿个总参数。该模型在AMD硬件上训练,在数学和编码基准测试中表现出与更大模型相媲美的性能,采用了压缩卷积注意力(Compressed Convolutional Attention)和基于MLP的路由器等创新技术。ZAYA1-8B在Apache 2.0许可下可用,并提供无服务器终端,为设备端应用提供高效部署和低延迟推理。