transformer architectures
PulseAugur coverage of transformer architectures — every cluster mentioning transformer architectures across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
稀疏增量记忆提升线性RNN，实现更好的长上下文记忆
研究人员推出了一种名为稀疏增量记忆（Sparse Delta Memory, SDM）的新型架构，旨在增强线性循环神经网络（RNN）的长上下文记忆能力。通过采用稀疏寻址方案，SDM显著提高了门控线性RNN的隐藏状态容量，在相似的计算约束下，其在上下文学习和长上下文检索任务上的表现优于传统的Transformer架构。该架构通过对显式内存进行稀疏读写来扩展门控增量网络（Gated DeltaNet），并且当其初始状态被参数化学习时，还能…
-
人生旅程与 Transformer 网络架构的比较
个人通过借鉴大型语言模型中使用的 Transformer 网络架构和过程，反思自己的人生旅程。作者将童年发展比作向量嵌入的创建，将正规教育比作编码器堆栈的抽象分层，将早期职业生涯的失败比作用于完善理解的验证集和损失信号。文章认为，人生的生成过程与 LLM 中的自回归解码器相似，其中新的输出是基于先前的上下文生成的。
-
DREG正则化方法在深度学习中展现出卓越的准确性
研究人员推出了一种名为DREG的逐层雅可比正则化技术，该技术可作为神经网络的通用惩罚。在一项大规模实证研究中，DREG与其他正则化器相比，展现出卓越的准确性，尤其是在数据稀疏和使用Transformer架构中常见的GELU激活函数时。该方法持续优于基线，并在噪声鲁棒性方面排名第二，表明其作为深度学习模型的即插即用解决方案的潜力。
-
Transformer 架构拥抱多模态能力
Transformer 架构正在演进以整合多模态能力，超越了仅文本的模型，以处理多样化的数据类型。这一趋势反映了人工智能开发朝着更复杂、更多功能的模型发展的广泛转变。
-
新论文区分了人工智能中的描述性不确定性与监管性不确定性
一篇新论文区分了描述性不确定性（仅描述输出分布）和监管性不确定性（主动影响系统策略并驱动适应）。研究表明，当前的 Transformer 架构在推理过程中仅限于描述性不确定性。这一限制通过 Landauer 原理得到解释，该原理表明不确定性要具有监管性，认知误差必须产生实际的能量成本，而在解耦系统中并非如此。对不同规模语言模型的实证测试表明，在不同任务中，token 级别的熵在统计上保持不变，这表明其与任务准确性解耦，并且存在一种尺度不变的限制。
-
Transformer模型SeismoGPT高精度预测地震波形
研究人员开发了SeismoGPT，一个基于Transformer的模型，用于预测地震波形。该模型在时域中自回归运行，在观测到的地震到达之后继续生成波形数据。SeismoGPT取得了高精度，中值归一化互相关系数超过0.93，证明了其保持相位相干性和频谱能量分布的能力。研究结果表明，基础模型可以应用于物理驱动的时间序列预测，在地震预警和灾害减缓方面具有潜在用途，特别是对于先进的引力波天文台。
-
大型语言模型使用位置编码来理解数据顺序
位置编码是大型语言模型（LLMs）理解数据序列特性的关键组成部分，因为Transformer架构本身不处理顺序。这些编码将关于token位置的信息注入其嵌入中，使模型能够掌握关系和上下文。这对于翻译和摘要等任务至关重要，因为词序会显著影响含义。
-
Toward a Functional Geometric Algebra for Natural Language Semantics
一篇新论文提出几何代数（GA）作为自然语言语义的优越数学基础，超越了传统的线性代数。提出的函数几何代数（FGA）框架旨在增强组合语义、类型敏感性和可解释性。这种方法将嵌入空间扩展到 $2^n$ 多向量代数，为表示语义概念及其交互提供了更大的结构组织。