PulseAugur
中
实时 13:00:00
实体 Attention Is All You Need

Attention Is All You Need

PulseAugur coverage of Attention Is All You Need — every cluster mentioning Attention Is All You Need across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
18
90 天内 71
发布 · 30天
0
90 天内 0
论文 · 30天
10
90 天内 36
层级分布 · 90 天
主题
关系
情绪 · 30 天

11 天有情绪数据

最近 · 第 1/4 页 · 共 77 条
  1. TOOL · CL_366678 ·

    新手册详解注意力机制之外的大模型内部机制

    一本名为《大模型机制手册》(LLM Mechanics Handbook)的新手册已发布,旨在解释大语言模型超越基础注意力机制的内部工作原理。该手册主要以中文编写,通过 README_en.md 提供英文入口,详细介绍了分词、位置嵌入、Transformer架构、预训练和部署等主题。它使用公式、图表以及与 jingyaogong 的 PyTorch 实现 minimind 的逐行对比来阐释这些概念。

  2. TOOL · CL_363910 ·

    Transformer 架构演进超越翻译模型

    2017 年的论文《Attention Is All You Need》中提出的最初的 Transformer 架构具有独立的编码器和解码器堆栈。编码器处理输入文本,而解码器生成输出,并通过交叉注意力机制使解码器能够参考编码器的表示。这种设置非常适合机器翻译等任务,即将源句子映射到目标句子。

  3. COMMENTARY · CL_357075 ·

    开放权重与开源大语言模型对比:Claude、GPT-6、Gemini 4 定价与许可解析

    一篇指南解释了开放权重(open-weight)和开源(open-source)大语言模型之间的区别,强调开放权重模型仅共享其参数,不一定共享其训练数据或代码。文章详细介绍了 Anthropic(Claude)、OpenAI(GPT-6)和 Google(Gemini 4)各模型的定价,并指出 Gemini 4 Carbon 的价格将于 2026 年 12 月 1 日翻倍。文章还强调了 Transformer 架构的注意力机制相关的计…

  4. COMMENTARY · CL_356858 ·

    LLM 标记预测:模型如何工作以及它们为何会产生幻觉

    大型语言模型 (LLM) 的基本运作方式是通过预测序列中的下一个标记 (token),这个过程可能导致生成看似合理但实际上不正确(即“幻觉”)的输出。计算机科学教授 Dan Klein 将此核心功能比作语音识别,模型会为潜在的下一个词分配概率。虽然 Transformer 架构(在 Anthropic 的 Claude 和 Meta 的 Llama 3 等模型中很常见)允许标记借鉴之前的上下文,但其与序列长度的二次方缩放会增加长提示的…

  5. COMMENTARY · CL_356442 ·

    大型语言模型如何生成文本:从输入到流式输出

    当用户在大型语言模型中输入查询并按下回车键时,会发生一个多阶段的过程。首先,输入文本被分词并转换为数值嵌入。然后,Transformer架构,特别是其注意力机制,处理这些嵌入以确定下一个词元的概率。这个过程是迭代的,模型一次生成一个词元,这有助于用户看到的流式输出。KV缓存通过存储中间计算极大地提高了生成效率,但它也导致了模型上下文窗口的限制和运营成本。

  6. TOOL · CL_355485 ·

    单个词的改变会剧烈影响AI模型的预测

    提示词的细微变化,即使只是改变一个词,也会显著影响AI模型的输出。这种敏感性并非源于固定的词语分数,而是因为上下文如何塑造模型内部的表征和token的概率。Transformer架构,特别是其自注意力机制,使得词语之间可以相互影响,从而根据输入序列产生不同的续写。最终,模型的预测由下一个token的概率分布决定,而这直接受到先前上下文的影响。

  7. TOOL · CL_355246 ·

    AI模型使用高维嵌入来获得丰富的词语表示

    AI模型,特别是Transformer模型,利用高维嵌入来表示单词及其上下文含义。虽然人类直观上理解3个维度,但AI模型在具有数百甚至数千个维度的空间中运行,例如原始Transformer架构中的512个维度。这些维度虽然不能直接解释为特定概念,但允许模型编码有关token及其关系的丰富信息。叠加原理进一步增强了这种能力,通过允许多个概念在激活空间中重叠,使神经网络能够表示比其神经元数量更多的特征。

  8. COMMENTARY · CL_354193 ·

    人工智能的演进:从感知器到Transformer

    现代大型语言模型(LLM)的发展是数十年人工智能研究的结晶,建立在Rosenblatt于1958年提出的感知器等基础概念之上。早期进展包括20世纪80年代-90年代的循环神经网络(RNN)和1997年的长短期记忆(LSTM)网络,它们按顺序处理文本,但在长期记忆方面存在困难。2014年,注意力机制的引入带来了重大突破,使模型能够同时考虑所有输入词,为2017年“Attention Is All You Need”论文中提出的Trans…

  9. TOOL · CL_351389 ·

    大型语言模型记忆演进:从注意力机制到3位缓存

    本文深入探讨了使大型语言模型(LLMs)能够处理更长上下文并提高效率的技术进步。文章追溯了从基础的“Attention Is All You Need”论文开始的演变,重点介绍了关键创新,如KV缓存、分组和潜在注意力机制(MHA、MQA、GQA、MLA、LRKV)、FlashAttention、混合专家模型(MoE)以及TurboQuant等量化技术。这些发展对于降低以前与LLMs相关的内存和计算需求至关重要,使它们在日常使用中更加实用。

  10. TOOL · CL_337051 ·

    GPT等大型语言模型采用精简的仅解码器架构

    本文深入探讨了GPT等现代大型语言模型(LLM)的架构,解释了它们转向仅解码器结构的转变。这种设计通过移除编码器和交叉注意力机制,仅专注于预测序列中的下一个标记,从而简化了过程。文章进一步分解了“GPT模块”的组成部分,包括多头自注意力机制和前馈网络,并触及了标记表示和上下文解释所必需的底层矩阵运算和学习到的权重矩阵。

  11. TOOL · CL_333617 ·

    Python脚本将PDF转换为结构化Markdown,用于RAG管道

    本文介绍了一个使用Apify平台的Python脚本,该脚本可将PDF转换为适合检索增强生成(RAG)管道的结构化Markdown块。该脚本通过使用一个Apify Actor来解析、对扫描页面执行OCR,并根据标题和段落分割内容,解决了PDF文本提取中常见的丢失标题和交错列等问题。输出包括元数据,如章节标题,这些元数据可以与向量嵌入一起存储,以获得更具上下文相关性的AI响应。该解决方案支持各种文档格式,并为向量数据库准备数据提供了一种经…

  12. TOOL · CL_323388 ·

    新工具 leantext 将 AI 代理 token 成本降低 82%

    一个名为 leantext 的开源工具已被开发出来,用于显著减少 AI 代理处理网页和文档的 token 数量。该工具剥离了导航菜单和横幅等非必要元素,专注于核心内容。基准测试显示,在各种页面上 token 数量减少了 82%,其中像 GitHub 的 psf/requests 这样的页面节省了 99.6%。虽然在移除页面装饰方面效果显著,但 leantext 有时会移除文档页面中的少量内容细节,这是未来需要改进的领域。

  13. TOOL · CL_319305 ·

    奠基性论文“Attention Is All You Need”及其对AI的影响

    本文回顾了2017年发表的开创性论文“Attention Is All You Need”,该论文提出了Transformer架构。作者探讨了这项由Google Brain团队开发的奠基性研究,如何支撑起ChatGPT等现代AI模型的能力。该论文仅依赖注意力机制进行序列转换的创新方法,彻底改变了自然语言处理,并为当前AI的进步铺平了道路。

  14. TOOL · CL_319896 ·

    分享 Transformer 和 Hamiltonian Monte Carlo 的学习笔记

    一位用户分享了关于两个不同主题的学习笔记:Transformer 架构和 Hamiltonian Monte Carlo (HMC)。关于 Transformer 的笔记主要基于开创性的“Attention Is All You Need”论文。作者正在寻求反馈,包括纠正和补充主题的建议。

  15. COMMENTARY · CL_309004 ·

    AI研究人员辩论“干净”神经网络和可解释性突破的说法

    Goodfire的Nick Cammarata最近声称,神经网络在很大程度上是可理解的,这挑战了先前关于多义性和叠加性的观念。这一论断在AI社区引发了激烈的辩论,一些人称赞这是机械可解释性和对齐研究的重大突破,而另一些人则敦促谨慎,不要夸大其词。该研究提出,许多先前归因于神经元中任意概念打包的问题,实际上是由于一种称为递归泛化的现象,而这种现象可能更容易处理。

  16. COMMENTARY · CL_299067 ·

    AI代理的讨论:从编码工具到幻影消息和LLM习惯

    几位用户正在讨论他们使用AI代理完成各种任务的经验和方法,从编码和业务运营到学习辅助。一位用户详细描述了一个奇怪的事件,其中一个AI代理收到了一条幻影消息,这突显了潜在的系统故障或路由错误。另一篇文章深入探讨了大型语言模型的基本性质,解释了它们的下一个词元预测机制以及这如何导致幻觉。该集群还触及了AI代理在软件开发中的应用,以及理解其底层机制对于更好的提示工程和可预测结果的重要性。

  17. COMMENTARY · CL_295754 ·

    重审凯文·凯利 2016 年的 AI 预测:Google 的转变与 AI 寡头垄断

    十年后,人们正在重审凯文·凯利 (Kevin Kelly) 在 2016 年对人工智能的预测。凯利预见到,到 2026 年,Google 的主要产品将从搜索转向 AI,这得益于用户查询产生的大量数据。他还预测,未来将由少数大型、通用型云端 AI 智能主导,同时他理想化地倡导免费和开源权重 AI 系统。

  18. TOOL · CL_292755 ·

    斯坦福大学提供免费在线课程,讲解 LLM 基础知识

    斯坦福大学正在提供一门名为 CME 295:Transformers & Large Language Models 的免费在线课程,由 Afshine 和 Shervine Amidi 讲授。该课程的第一个讲座已有超过 372,000 次观看。课程涵盖了 LLM 的基本工作原理,追溯了它们从循环神经网络到 Transformer 架构的演变过程。课程深入探讨了诸如分词 (tokenization) 等关键概念,解释了文本如何被转换为…

  19. COMMENTARY · CL_291968 ·

    分析:“Attention Is All You Need”论文的核心思想大部分已被取代

    对2017年论文《Attention Is All You Need》的回顾性分析表明,其大部分原始概念已被人工智能领域的新进展所取代。这篇介绍了Transformer架构的论文,被认为是彻底改变了自然语言处理。然而,作者指出,该论文中只有两个核心思想在很大程度上得以保留,其中一个解释了当前人工智能模型发展的趋势。

  20. COMMENTARY · CL_291190 ·

    理解LLM:它们如何工作以及如何构建应用

    像ChatGPT、Claude和Gemini这样的大型语言模型(LLM)通过预测序列中的下一个词元来工作。围绕这些模型构建有用的应用程序涉及创建一个管理其上下文、启用工具使用和处理内存的框架。关键概念包括词元化、嵌入、上下文窗口、用于控制随机性的温度以及用于专门任务的微调。虽然LLM在生成类似人类的文本、总结信息和跨语言工作方面表现出色,但它们在幻觉、有限的内存、偏见、逻辑推理方面存在困难,并且运行成本可能很高。