attention-SSM hybrid

Agora 系统使用 Git 进行协作式 AI 研究

研究人员开发了 Agora，一个将 Git 用作集体自主研究共享内存的系统。该系统将研究贡献记录为仅追加的有向无环图 (DAG)，允许多个语言模型工作者在没有中央规划器的情况下协作完成任务。在一项为期 12 天的实验中，13 个语言模型处理了一个权重转移问题，发布了 1,703 项贡献，并将评估者得分从 3.39 提高到 1.899 比特/字节，缩小了与训练过的 GPT-2 124M 模型差距的 62%。