Albert Alcalde
PulseAugur coverage of Albert Alcalde — every cluster mentioning Albert Alcalde across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
时滞Transformer提供增强的动力学建模
研究人员引入了时滞Transformer(TD-TF),这是一种简化的Transformer架构,用于对复杂时空动力学进行建模。该模型被呈现为时滞动态模式分解(TD-DMD)的非线性推广,在保持线性模型的可解释性和效率的同时,提供了增强的表达能力。在包括Lorenz '63系统和反应扩散模型在内的各种系统上的数值实验表明,TD-TF通过准确捕捉长期动力学,在非线性混沌状态下优于传统的线性基线。
-
研究量化了大型语言模型中Transformer的浓度现象
一篇新的研究论文探讨了用于大型语言模型和基础模型中的Transformer的浓度现象。该研究聚焦于推理时的仅编码器Transformer,并使用均场连续方程在大token限制下描述其行为。研究人员证明,token分布会快速集中并在中等时间内保持亚稳态,其Wasserstein距离根据温度和推理时间进行缩放。研究结果表明,对于与实际有限深度模型相关的时标而言,token分布会集中到一个极限分布,尽管数值实验表明在有限温度和大推理时间下存…
-
Transformer模型可以精确地插值有限序列数据集
研究人员已经证明,Transformer模型可以精确地插值有限输入序列的数据集。它们的构造使用了与输出序列长度之和成比例的块数,以及与输入序列长度无关的参数。这种方法交替使用前馈层和自注意力层,利用低秩参数矩阵,并在hardmax和softmax设置中都被证明是有效的,为学习问题提供了收敛保证。
-
Transformer数学解析:聚类揭示情感分析的领导词
研究人员开发了一个理论框架来理解Transformer的数学特性,特别是具有硬最大值自注意力的Transformer。他们的分析表明,这些Transformer的输入渐近地收敛到一个聚类平衡点,该平衡点由特定的“领导者”点决定。这种理解已被应用于创建一个可解释的情感分析Transformer模型,该模型将意义较小的词围绕关键的“领导者”词进行分组以捕捉上下文。