Silia

学生开发 Silia，一种参数高效的 Transformer 架构

一名学生研究员开发了一种名为 Silia 的新型 Transformer 架构，旨在以低于 1000 万的严格参数预算进行高效建模和分类任务。该架构旨在将注意力机制的动态混合与前馈网络的强大非线性结合在一个统一的操作中。实验表明，Silia 在参数数量显著减少的情况下，取得了与 GPT-2 相当的性能，尽管有限的硬件和计算预算限制了测试范围。