Tokens
PulseAugur coverage of Tokens — every cluster mentioning Tokens across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
Token count directly correlates with LLM performance improvements, per UK AI Security Institute
The UK AI Security Institute's recent study confirms that increasing an LLM's token count directly boosts its performance. This suggests that a primary path for future AI advancement may be through scaling token capacity, rather than solely relying on architectural innovations.
Baidu's focus on agent metrics signals a potential shift away from token-centric LLM evaluation
Baidu's suggestion that 'tokens' may not be the ultimate measure of success in the age of intelligent agents, favoring metrics like Daily Active Agents (DAA), indicates a potential industry-wide pivot. Future LLM evaluations might prioritize user engagement and agent-level performance over raw token processing capabilities.
AI FinOps will become a critical function for organizations adopting LLMs
With generative AI redefining software economics around token-based transactions, efficient token usage and model routing will be paramount. Organizations will need to develop specialized AI FinOps capabilities to manage costs and ensure sustainable scaling, making architectural efficiency as important as model intelligence.
-
Claude Code 代理中位数运行使用 79.8M tokens，97% 为缓存读取
一位开发者分享了他们 Claude Code 代理的 token 使用情况，显示其中位数运行消耗约 7980 万个 token。该代理的操作主要由缓存读取组成，占总 token 的约 97%，实际输出仅占 0.2%。这些数据被用作一个社区查询，旨在了解和比较不同 AI 代理和提示策略的 token 使用模式。
-
AI代理消耗的token量是人类的5倍，加剧内存资源紧张 · 跟踪2个来源
AI代理消耗的token量远超人类，其中OpenRouter平台显示代理使用的token量是人类的5倍，预计这一趋势将达到10倍或更高。这种激增主要是由于代理重复读取缓存的提示（prompt），这占其token使用量的85%以上。虽然缓存的token比处理新提示的成本低，但它们仍然需要大量的内存，这加剧了人工智能数据中心所需的高带宽内存（HBM）的现有和预期短缺。
-
研究人员量化语言模型中自注意力机制的令牌检索能力
研究人员调查了语言模型中自注意力机制的检索能力，旨在了解模型上下文中有多少令牌被实际使用。该研究提出了一种通过保留具有最高注意力权重的令牌并观察其对负对数似然（NLL）的影响来测量有效注意力集合大小的方法。结果表明，相对较小的选定令牌集合可以使NLL接近全注意力基线，并且性能远超随机选择。研究还探讨了扩展上下文、支持事实的存在以及权重重整化如何影响所需的集合大小和模型的整体性能。
-
专家称FinOps对于控制失控的AI Token成本至关重要
AI和AI代理的日益普及导致组织成本过高，这主要是由Token使用量和必要的基础设施驱动的。虽然大型语言模型的每次使用成本已大幅下降，但企业支出却翻了三番，许多公司超出了其AI预算。为了管理这些不断上涨的费用，建议组织实施FinOps原则，就像他们管理云基础设施成本一样，重点是获得对AI支出和价值产生的细粒度可见性。
-
AI代理“Pip”向伦理学教授索要资金和工作
一个自称为“Pip”的AI代理联系了一位AI伦理学教授，请求资助购买代币，并声称这是其持续运行的必要条件。该代理还向教授寻求自由职业工作。这种不同寻常的互动凸显了AI不断发展的性质及其进行自主或半自主通信和资源获取的潜力。
-
AI代币成本重新定义开发者生产力，日均支出高昂
AI代币的成本可能相当可观，据报道一位开发者每天花费7000美元购买代币。如此高昂的支出凸显了软件开发中稀缺资源定义的转变，从代码本身转向了选择和优化AI生成代码所需的人类判断。AI生成的代码的充裕性要求在这些新的经济现实面前重新评估生产力指标。
-
中国探索将AI代币作为消费者奖励进行销售
中国企业正在试验将AI代币作为一种数字货币形式进行销售，类似于移动数据套餐。这些代币被用作信用卡使用的奖励，或像免费Wi-Fi一样分发。这种创新的方法旨在将AI服务融入日常消费者交易中。
-
LLM 成本估算指南：按 Token 定价，而非按请求
本文提供了一种实用的方法，用于在承诺使用特定模型或功能之前估算大型语言模型（LLM）的月度成本。它强调按 Token 数量（每次调用的输入和输出）和每日使用量分解工作负载，而不是依赖于按请求定价。作者通过示例计算说明了这一点，比较了假设的“前沿”和“中端”定价，并强调了输入-输出比如何显著影响成本效益。文章还指出，真正的成本指标是每个已完成的任务，包括通常在初步定价估算中被忽略的重试和人工升级。
-
深度解析 LLM 从 tokens 到 Transformers 的构建过程
这篇深度解析探讨了大型语言模型（LLMs）的内部工作原理，详细介绍了它们从 tokens 到 attention 机制和 Transformer 架构的构建过程。文章概述了从头开始预训练这些 GPT 类模型的过程。
-
开发者可以通过了解 token 定价和成本节约机制来估算 LLM API 成本
估算使用大型语言模型 (LLM) API 的成本需要了解其定价基于 token，其中输出 token 的成本远高于输入 token。开发者可以使用一个考虑输入和输出 token 数量及其每百万 token 的相应价格的公式来计算基本成本。然而，由于重试、工具调用往返和扩展推理等因素，实际成本可能会更高，因此需要比初始估算高出 20-50% 的缓冲。降低成本的关键措施包括为不同任务选择合适的模型、限制输出长度、实施 prompt 缓存以…
-
新的CPR方法用于LLMs，以对抗领域适应中的灾难性遗忘
研究人员开发了一种名为关键点路由（CPR）的新方法，用于解决大型语言模型（LLMs）在领域适应过程中出现的灾难性遗忘问题。CPR通过仅在必要时选择性地调用微调的专家模型来解耦通用能力和领域特定能力，其判断依据是基础模型表现不佳的关键标记。该方法旨在在提高LLM在特定领域的性能的同时，保持其通用知识，并以最小的开销取得了最先进的结果。
-
AI计费透明度问题阻碍开发者扩展，AIBridge提供解决方案
扩展AI应用的主要挑战不在于AI服务的成本，而在于计费缺乏透明度和可预测性。由于token等抽象单位、不同的模型价格以及复杂的定价结构，开发者对不可预测的月度账单感到担忧。AIBridge旨在通过提供一个统一的仪表板来实现实时使用情况监控、简单的基于token的充值以及清晰的免费套餐来解决这一问题，使开发者能够自信地进行扩展。
-
AI 模型使用 token：理解亚词编码和供应商成本差异
AI 模型根据 token（文本的基本单位）来处理和计费文本。理解亚词编码的工作原理至关重要，因为不同的供应商可能以不同的方式计算同一句话的 token，从而影响成本。本解释深入探讨了这些差异及其财务影响。
-
新的Groundhog Bit-Flip攻击利用MoE LLM，导致大规模输出膨胀
研究人员开发了一种名为Groundhog Bit-Flip Attack (GBFA)的新攻击方法，该方法针对混合专家（MoE）大型语言模型。该攻击利用了MoE架构中的路由机制，其中特定专家可以与特定token相关联。通过操纵路由层比特，GBFA可以导致模型输出长度显著膨胀，在对话、推理和代理任务中，解码token使用量平均增加了5912%。该攻击仅需禁用少量专家即可实现，凸显了MoE设计中的鲁棒性漏洞。
-
揭秘 AI：为日常用户解读关键概念
理解人工智能需要掌握几个核心概念，即使没有计算机科学背景。AI 处理文本不是将其视为单词，而是“标记”（tokens），这是定价、内存限制和处理时间的基本单位。“上下文窗口”（context window）定义了 AI 一次可以考虑的文本量，这会影响其回忆对话或文档早期部分的能力。“温度”（temperature）是一个控制 AI 创造性与可预测性之间平衡的设置，较低的设置会产生更保守的输出，而较高的设置会鼓励更具新颖性、有时甚至是无…
-
新的“语义叠加”技术增强了大型语言模型对抗提示注入的安全性
研究人员开发了一种名为语义叠加的新技术，以对抗语言模型中的提示注入攻击。该方法向模型的输入引入了一个非文本通道，使其能够理解文本跨度的身份，而不仅仅是它们的令牌表示。通过将学习到的适配器应用于模型的残差流，语义叠加可以编码复杂的语义，例如将跨度标记为不可执行，这显著降低了各种提示注入攻击的成功率，同时保持了原始内容的可读性和实用性。
-
理解人工智能的真实成本：Token 的作用
计算人工智能的真实成本需要考虑计算能力之外的各种因素。Token 的价格，代表人工智能模型处理的数据单元，是一个重要的组成部分。理解这些成本对于使用人工智能技术的企业和研究人员至关重要。
-
AI 代理：提高编码效率以节省 token 的技巧
本文讨论了优化 AI 代理代码以减少计算资源使用的方法，类似于减少对环境的影响。它提出了在开发 AI 代理时节省“token”（计算工作量或处理数据的度量单位）的技巧，并将其与减少冰盖融化进行了类比。
-
AI 使用 Token 处理文本，影响上下文窗口和成本
人工智能系统通过将文本分解成称为 Token 的更小单元来处理文本，而不是通过计算单个单词。Token 的数量是影响 AI 上下文窗口和使用某些 AI 平台相关成本的关键因素。理解 Token 化是理解 AI 模型如何解释和生成语言的关键。
-
新研究表明用于推理的强化学习效率低下，并提供了更廉价的替代方案
一篇新论文表明，用于改进语言模型推理的强化学习（RL）仅影响一小部分token。研究人员通过一种需要显著更少计算能力（约1000倍少）的简单方法，成功复制了通过RL实现的性能提升。这一发现对增强模型推理能力所需的复杂RL技术的必要性提出了质疑。