attention
PulseAugur coverage of attention — every cluster mentioning attention across labs, papers, and developer communities, ranked by signal.
10 天有情绪数据
-
Transformer注意力机制中位置编码技术的映射
本文探讨了Transformer架构中的位置编码技术，重点关注位置信息如何以及在何处被整合到注意力机制中。文章超越了按时间顺序的呈现方式，而是根据方法在注意力公式中的注入点进行分类。作者提出了一个2x2的网格（绝对与相对，固定与学习）来映射这些技术，并将其与原始Transformer在注意力层之前将位置向量添加到token嵌入中的方法进行了对比。
-
新的Hopfield网络离散化方法保留了能量和吸引盆
研究人员开发了现代Hopfield网络的新时间离散化方法，重点在于保留能量衰减、平衡点以及至关重要的吸引盆。该研究引入了“能量元”来分析这些吸引盆，并证明了某些离散化方法（如后向欧拉法和松弛注意力图）在特定条件下可以保持这些吸引盆。研究结果通过数值实验进行了测试，结果表明连续和离散检索之间的偏差主要发生在数值推断的逃逸水平之上。
-
大语言模型的数学原理非专业人士解读
本文将像ChatGPT这样的大语言模型（LLM）背后的数学概念进行分解，使其对非技术受众来说易于理解。文章解释了LLM、Transformer和Attention等基本术语，并深入探讨了四个关键数学领域：线性代数用于将单词表示为数字，概率用于预测下一个单词，微积分用于通过梯度下降进行模型学习，以及信息论用于衡量不确定性。文章还阐明了三个关键方程：Softmax用于将分数转换为概率，Attention用于关注相关单词，以及梯度下降用于迭代模型改进。
-
LLM核心的注意力机制，简单解释
一篇2017年的论文引入了“注意力”的概念，这是目前大多数大型语言模型的基础机制。该机制允许句子中的每个词考虑句子中的其他所有词并确定其相关性。对这一概念的解释已被简化，避免了复杂的数学，并配有简短的动画。
-
Transformer为编码器和解码器使用不同的注意力机制
本文深入探讨了Transformer模型中编码器和解码器所采用的不同注意力机制，Transformer是自然语言处理（NLP）中的一种关键架构。文章将其与早期的循环神经网络（RNN）模型进行了对比，并着重介绍了Transformer如何利用注意力机制更有效地管理上下文和信息流。
-
KV 缓存大小挑战 LLM 推理效率
KV 缓存是高效 LLM 推理的关键组成部分，它存储每个 token 的键值向量以避免重新计算。该缓存的体积可能比模型权重本身大得多，尤其是在上下文窗口较长的情况下，这会导致巨大的 GPU 内存需求。优化 KV 缓存的传输和管理对于降低推理延迟和成本至关重要，vLLM 和 DeepSpeed 等工具提供了潜在的改进方案。
-
研究表明注意力机制而非门控使潜在变量可被访问
一篇新的研究论文探讨了语言模型如何表示和访问潜在变量，挑战了信息接纳需要选择性“门控”的观点。相反，该研究表明，注意力机制在特定中间深度窗口内根据任务需求聚集这些变量方面起着至关重要的作用。研究结果表明，概念的可见性随任务需求的增加而增加，但变量本身的存在不依赖于门控，并且读出测量可能无法准确反映实际使用情况。
-
论文使用电路复杂度分析Transformer的表达能力
一篇新论文探讨了Transformer的表达能力，Transformer是现代大型语言模型（LLM）的核心组成部分。该研究通过将其与已建立的计算模型进行比较来构建Transformer的能力，特别是使用电路复杂性概念。这种方法通过将Transformer的资源使用（如注意力机制和精度）与门类型、大小和深度等电路参数相关联，从而精确地校准Transformer作为语言识别器可以实现的目标。
-
理解 Transformer：从分词到自注意力机制
本文剖析了 Transformer 模型背后的核心概念，重点介绍了它们如何处理语言。文章解释了分词（tokenization），即将文本分割成更小的片段，以及分词 ID（token IDs），即这些片段的数值表示。该过程继续介绍嵌入（embeddings），将分词转换为捕获它们之间关系的向量，以及位置编码（positional encoding），它为序列中分词的位置添加信息。最后，文章深入探讨了自注意力机制（self-attenti…
-
人工智能利用无人机和纹理分析增强离岸流检测
研究人员开发了一种使用无人机（UAV）监测离岸流的新方法，该方法将小波纹理特征与深度学习相结合。该方法增强了对细微离岸流指标的检测，例如海浪中的间隙和沉积物模式，这些指标通常会被标准的RGB图像错过。研究评估了将这些特征整合到卷积神经网络中的各种策略，发现具有注意力机制的双流架构在分类方面达到了95%以上的准确率，而通道替换方法将YOLOv8对象检测性能提高到94% mAP@50。可解释的人工智能分析证实，模型关注与离岸流相关的视觉线…
-
新的熵界衡量 Transformer 容量
研究人员引入了熵界（Entropic Bound），这是一种新的谱度量，用于确定 Transformer 架构中解决特定任务所需的最小模型容量。该界限，表示为 $r^*$，代表了 token 混合算子的内在秩，并被证明是一个紧密的下界，意味着秩较低的模型将不可避免地产生过度的风险。研究表明，梯度下降可以恢复这种秩，并且 $r^*$ 可以在训练开始之前从数据中估计出来。该研究进一步将这一概念提炼为注意力原生内在秩（attention-n…
-
Mamba的状态空间模型为LLM提供线性时间和恒定内存
状态空间模型（SSM），特别是Mamba架构，为大型语言模型提供了比Attention机制更高效的替代方案。与Attention在输入长度上具有二次方时间和内存成本不同，SSM使用固定大小的状态，该状态逐个token更新，从而实现线性和恒定内存复杂度。这种效率使得SSM能够处理显著更长的上下文。Mamba通过引入选择性门控来增强传统SSM，使模型能够根据输入token动态调整其状态，从而选择性地记忆或遗忘信息。
-
新型Mamba-Attention架构改进OFDM信道估计
研究人员开发了一种新颖的混合Mamba-Attention神经网络架构，旨在提高正交频分复用（OFDM）波形的信道估计性能，特别是在具有大量子载波的场景下。该架构集成了定制的Mamba模块，以高效处理大规模信道估计并捕捉长距离依赖关系。通过采用双向选择性扫描并减少对二次复杂度自注意力的依赖，所提出的方法比传统的Transformer架构具有更低的复杂度，并在3GPP TS 36.101信道上展现出卓越的性能和泛化能力。
-
AI 与 LLM 术语表解释核心工程术语
本文档是面向后端工程师的 AI 和 LLM 工程术语表。它定义了核心概念，如 tokens、context windows、inference 和 parameters，以及与 attention mechanisms 相关的专业术语，如 LoRA、quantization 和 KV cache。该术语表从实践层面解释这些术语，区分它们与研究或营销定义，以帮助日常工作。
-
理解注意力机制：解决Transformer中的长序列问题
本文深入探讨了长序列在自然语言处理中带来的挑战，解释了传统神经网络的局限性。文章重点介绍了注意力机制的开发如何解决这些特定问题，从而能够更有效地处理扩展文本数据。
-
新的WavePhaseNet方法从理论上将LLM幻觉与结构限制联系起来
研究人员开发了WavePhaseNet，一种用于构建大型语言模型（LLM）中语义概念层级结构（SCHS）的新方法。该方法使用测度论和频率分析重新构建注意力机制，从理论上证明幻觉是固有的结构限制。该方法利用离散傅里叶变换（DFT）将语义信息分解为频带，从而能够精确地操作和减小嵌入空间。通过将GPT-4的嵌入空间从24,576维减小到约3,000维，作者声称在保留含义和意图的同时，能够通过同调正则化实现严谨推理并抑制幻觉。
-
FastTPS方法加速AI加速器上的大语言模型推理
一种名为FastTPS的新方法已被开发出来，用于加速AI加速器上大语言模型（LLM）推理的Token阶段。该方法解决了固有的低并行度和内存开销问题，尤其是在长序列处理方面。FastTPS结合了KV缓存连接、优化的RoPE注意力以及融合MLP调度，以提高吞吐量并减少内存访问。
-
新的狄利克雷过程缓存存储独特信息，性能优于注意力机制
研究人员为序列模型开发了一种新颖的记忆系统，该系统存储独特信息而非单个标记，解决了固定状态模型的局限性和注意力机制的计算成本问题。该系统基于可学习的狄利克雷过程缓存，仅为新颖输入分配内存槽，使其能够随着遇到的独特项目数量进行扩展。实验表明，这种方法在显著减少内存使用量的情况下，匹配了全注意力机制的召回性能，尤其是在处理长而冗余的数据流时。
-
GPT-2 解码器机制：深入解析下一个词的预测
本文提供了一个关于 GPT-2 解码器模型如何预测下一个词的详细分步解释。它追踪单个向量在模型层中的旅程，说明了每一次矩阵乘法和参数计数。解释强调，解码器层是在原地重写固定宽度的向量，而不是压缩或替换 token，最终产生下一个词的概率分布。
-
新模型统一形状和纹理用于心脏视频分类 · 跟踪 2 个来源
研究人员开发了一种新的心脏视频分类模型，该模型集成了可变形的形状和纹理表示。该模型使用双向交叉注意力在潜在空间中融合这些特征，从而允许根据时空对应关系在形状和纹理之间进行自适应加权。与之前应用统一加权的方法不同，这种方法会随着时间的推移动态调整形状和纹理的贡献，从而在电影心脏磁共振 (CMR) 视频数据集上取得了最先进的性能。注意力机制还通过识别诊断关键的心脏阶段和模态贡献来提高可解释性。