PulseAugur
中
实时 21:58:45
实体 Albert Alcalde

Albert Alcalde

PulseAugur coverage of Albert Alcalde — every cluster mentioning Albert Alcalde across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 4
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 4
层级分布 · 90 天
主题
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 4 条
  1. TOOL · CL_364295 ·

    时滞Transformer提供增强的动力学建模

    研究人员引入了时滞Transformer(TD-TF),这是一种简化的Transformer架构,用于对复杂时空动力学进行建模。该模型被呈现为时滞动态模式分解(TD-DMD)的非线性推广,在保持线性模型的可解释性和效率的同时,提供了增强的表达能力。在包括Lorenz '63系统和反应扩散模型在内的各种系统上的数值实验表明,TD-TF通过准确捕捉长期动力学,在非线性混沌状态下优于传统的线性基线。

  2. TOOL · CL_336446 ·

    研究量化了大型语言模型中Transformer的浓度现象

    一篇新的研究论文探讨了用于大型语言模型和基础模型中的Transformer的浓度现象。该研究聚焦于推理时的仅编码器Transformer,并使用均场连续方程在大token限制下描述其行为。研究人员证明,token分布会快速集中并在中等时间内保持亚稳态,其Wasserstein距离根据温度和推理时间进行缩放。研究结果表明,对于与实际有限深度模型相关的时标而言,token分布会集中到一个极限分布,尽管数值实验表明在有限温度和大推理时间下存…

  3. TOOL · CL_30954 ·

    Transformer模型可以精确地插值有限序列数据集

    研究人员已经证明,Transformer模型可以精确地插值有限输入序列的数据集。它们的构造使用了与输出序列长度之和成比例的块数,以及与输入序列长度无关的参数。这种方法交替使用前馈层和自注意力层,利用低秩参数矩阵,并在hardmax和softmax设置中都被证明是有效的,为学习问题提供了收敛保证。

  4. TOOL · CL_30952 ·

    Transformer数学解析:聚类揭示情感分析的领导词

    研究人员开发了一个理论框架来理解Transformer的数学特性,特别是具有硬最大值自注意力的Transformer。他们的分析表明,这些Transformer的输入渐近地收敛到一个聚类平衡点,该平衡点由特定的“领导者”点决定。这种理解已被应用于创建一个可解释的情感分析Transformer模型,该模型将意义较小的词围绕关键的“领导者”词进行分组以捕捉上下文。