SupraLabs发布了SupraElegans-500K，这是一款实验性语言模型，它不同于标准的Transformer架构。该模型采用受秀丽隐杆线虫神经系统启发的稀疏、有符号、循环神经网络图，摒弃了注意力机制和位置编码。其上下文窗口通过持久的每神经元膜电位进行管理，并且无需KV缓存即可运行。虽然其质量不旨在与Transformer竞争，但它旨在探索这种新颖架构在小规模语言建模中的可行性。 AI
影响 探索Transformer的替代架构，可能为高效的小规模语言建模开辟新途径。
排序理由 新发布一款由非前沿实验室推出的、具有新颖架构的实验性语言模型。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
