实体 SrijSriv211

SrijSriv211

PulseAugur coverage of SrijSriv211 — every cluster mentioning SrijSriv211 across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_85074 · Jun 11 · 04:58

学生提出 Silia Transformer 以实现参数高效的小型模型

一名学生研究员推出了一种名为“Silia”的新型 Transformer 架构，专为参数量低于 1000 万的模型设计，以实现参数效率。该架构旨在将注意力机制的动态混合与前馈网络的强非线性结合到单个操作中。尽管由于硬件限制实验受限，但实验表明 Silia 在参数量显著减少的情况下达到了与 GPT-2 相当的性能。