实体 DSQG

DSQG

PulseAugur coverage of DSQG — every cluster mentioning DSQG across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_153339 · Jul 20 · 16:21

DWARF-55M-Base 模型发布，采用新颖的稀疏注意力架构

一款名为 DWARF-55M-Base 的新开源模型已发布，该模型采用新颖的稀疏注意力架构。这种名为动态稀疏查询-收集 (DSQG) 的架构旨在通过采样 token 而非关注每个之前的 token 来降低计算成本。该模型在 100 亿个 token 上进行了训练，并根据 Apache 2.0 许可提供，同时提供用于进一步探索的实验性代码。