实体
decoder-only transformer
decoder-only transformer
PulseAugur coverage of decoder-only transformer — every cluster mentioning decoder-only transformer across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
大型语言模型受竞争性导演身份引导，斯皮尔伯格占主导地位
研究人员开发了一种名为“创意碰撞”的方法，通过两种对立的导演身份——史蒂文·斯皮尔伯格和马丁·斯科塞斯——来引导大型语言模型。通过在代表他们独特风格的向量之间进行插值，研究发现斯皮尔伯格的身份表现出方向性主导地位，在很大程度上压制了斯科塞斯的影响。有趣的是，中间碰撞点却悖论式地提高了生成连贯性，并且发现两种身份都最大程度地局限于Transformer模型中的特定层，这表明存在一个共享的“道德-语调基底”。
-
图记忆Transformer用学习到的记忆图替换FFN，以提高可解释性
研究人员开发了一种图记忆Transformer (GMT)，它用显式的学习记忆图替换了仅解码器语言模型中的标准前馈网络 (FFN) 子层。这种新架构 GMT v7 在其 16 个 Transformer 块中的每一个块内使用了 128 个质心和一个有向转移矩阵。虽然参数量为 8220 万的 GMT 模型在零样本基准测试性能上与更大的 GPT 风格基线相当，但在验证损失和困惑度方面落后，这表明未来有优化的潜力和扩展性。