inference
PulseAugur coverage of inference — every cluster mentioning inference across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Together Compiler 优化 AI 推理,Flide 加速决策模型 · 跟踪 7 个来源
Together AI 推出了 Together Compiler,这是一个由代理驱动的系统,旨在为生产流量持续优化 AI 推理。该系统旨在通过适应不断变化的模型、硬件和用户行为来解决 AI 工作负载的动态性,在各种开源模型上实现了高达 2.6 倍的吞吐量。与每次优化测试都需要重启推理引擎的传统方法不同,Together Compiler 使用持久引擎和并行代理来最大化实验吞吐量。另外,一篇新论文介绍了 Flide,这是一个推理引擎,…
-
AI LLM 入门:理解权重、量化和推理
本文解释了人工智能大型语言模型 (LLM) 的基本概念,包括权重、量化和推理。权重对于确定 token 之间的关系至关重要,不同模型类型的权重数量通常以数十亿或数万亿计。量化是指使用的数据类型和精度,它会影响内存使用量,尤其是在 GPU 上。本入门指南旨在为读者揭开 AI 术语的神秘面纱。
-
AI研究人员就“质量中性”推理更改的标准进行辩论
Reddit 的 r/MachineLearning 子版块上的一场讨论探讨了将推理更改视为“质量中性”的标准。原帖分享了一个具体的例子,涉及 NVIDIA 的 Ling-3.0-flash 模型,在 GSM8K 基准测试中准确率从 96.89% 降至 96.82%。此更改涉及优化,如新的 MoE 后端、FP8 输出头和推测解码,所有这些都应用于 FP4 检查点。提出的核心问题是,需要什么样的证据,例如成对的每个问题的结果或声明的等效…
-
LLM成本由推理驱动,而非模型;优化是关键
使用大型语言模型(LLM)的成本主要由推理驱动,而非模型本身。为了降低这些费用,组织必须专注于优化其推理层。六种关键技术可以通过数学解释显著降低推理成本。
-
GoiBERT:紧凑型越南语语言模型实现高性能
研究人员开发了GoiBERT,这是一个新系列的紧凑型越南语语言模型,旨在实现高效部署。这些模型拥有2600万和4900万参数,在包括文本分类和情感分析在内的各种基准测试中均表现出色。GoiBERT-large在同等规模的非教师模型中表现最佳,而GoiBERT-base的尺寸仅为强基线模型的四分之一,但性能却保持了近99%。这些模型通过两阶段知识蒸馏过程进行学习,利用互补的教师模型。
-
AI技术栈的复杂性已超越模型,延伸至数据、推理和可观测性
AI系统的复杂性已超越核心模型本身,涵盖了更广泛的技术栈组件。数据管理、检索机制、上下文处理、推理过程、评估指标和可观测性工具等关键要素对于塑造有效的生产AI至关重要。理解这些相互关联的部分对于构建和部署先进的AI解决方案至关重要。
-
新的ATEST框架通过适应GPU负载和能源成本来优化大语言模型推理
研究人员开发了ATEST,一个用于大语言模型推理的自适应资源感知测试时推理的新框架。该系统通过根据查询难度和实时GPU条件(包括能源成本)动态调整推理工作量,解决了传统方法中固定采样预算的问题。ATEST-Online模式无需离线校准,可逐步生成样本,监控GPU负载,并学习能源成本以确定何时停止,在不同负载下展示了准确性和能源效率的显著提升。
-
新的AI架构提升速度并支持NPU训练
研究人员开发了TurboMamba,一种新颖的语言模型架构,可显著提高推理和训练速度,同时增强预测准确性。通过将全局Mamba-3模型与小型Transformer和用于本地上下文的轻量级附加组件相结合,TurboMamba的预测损失比Mamba-3低9.4%,并且在批处理延迟方面实现了高达6.21倍的速度提升。此外,VIDRAFT已展示了完全在仅推理的神经网络处理单元(NPU)上训练AI模型的能力,绕过了传统的GPU要求和CUDA堆栈…
-
Apple利用“Minions”将闲置的Mac变成虚拟GPU云
Apple研究人员开发了“Minions”系统,该系统聚合了macOS设备上闲置的Apple Silicon GPU,为机器学习推理创建一个分布式虚拟GPU云。这种方法旨在通过利用现有硬件、降低成本和提高弹性来解决集中式GPU基础设施的局限性。该系统在一个研究论文中进行了详细介绍,它允许团队在不采购额外GPU的情况下运行大规模推理工作负载,将日常Mac转变为一个实用的分布式计算平台。此外,还有研究正在探索先进的GPU调度技术和内核工程…
-
AI开发探索LLMs之外,着力解决工程挑战
该集群讨论了AI开发中超越大型语言模型的细微差别。它触及了在更广泛的AI领域中考虑Agents、检索增强生成(RAG)和推理等因素的重要性。这些条目还简要提到了与接线开关相关的性能bug,暗示了对AI开发中实际工程挑战的关注。
-
推理成为新AI应用的核心,Kubernetes成为操作系统
文章认为,推理(使用AI模型生成输出的过程)正成为新应用的核心。文章提出,Kubernetes正演变为AI的事实操作系统,管理这些基于推理的应用所需的复杂基础设施。这一转变意味着对强大的MLOps实践的需求日益增长,以处理生产环境中AI模型的部署和扩展。
-
欧盟数字身份框架和AI平台发布在Mastodon上被重点提及
两条独立的Mastodon帖子重点介绍了技术和监管方面的不同进展。一条帖子讨论了欧盟的数字身份框架(eIDAS 2.0)及其对KYC流程的影响,并指出平台如何通过文件扫描和安全功能检查来验证身份。另一条帖子宣布推出Infere,一个专为API网关设计的AI路由和可观测性平台,该平台经过数月开发。
-
Infere 发布带有可观察性和提示管理的 AI 网关测试版
Infere,一个 AI 路由和可观察性平台,已由其开发者推出测试版。该平台旨在通过提供单一的 OpenAI 兼容端点来简化集成和管理多个 AI 模型的过程。主要功能包括自动模型选择、类似于 Git 的提示版本控制、评估工具以及用于成本跟踪的详细日志记录。
-
体育领域AI词汇表新增基础模型和推理定义
“体育领域的人工智能”词汇表已更新,新增了术语。第一项介绍了“基础模型”的概念,第二项增加了“推理”一词。这两项内容都是为了在体育背景下定义AI术语的持续努力的一部分。
-
机器学习的边缘计算与云端计算之争:未来是混合式的
机器学习的边缘计算与云端计算之争正变得过时,因为未来的架构将无缝集成两者来处理每一个请求。这种混合方法旨在消除通常与隐私和性能相关的权衡,为数据处理和推理提供更统一的解决方案。
-
CPU 在 LLM 推理中的复苏挑战 GPU 主导地位
最近的一项分析表明,在大型语言模型 (LLM) 推理领域,中央处理器 (CPU) 正在重新获得相关性。这一转变挑战了长期以来认为图形处理器 (GPU) 在此类任务中具有绝对优势的假设。讨论强调了对人工智能工作负载硬件分配进行潜在重新评估的必要性。
-
NPO Circuit Network 将举办人工智能半导体系列讲座
NPO Circuit Network (C-NET) 将举办其第28次定期讲座系列,题为“前进,日本!第四部分 ~支撑AI的半导体是什么?~”。该在线活动将于8月28日下午1:00至下午5:25举行。该系列将有五场讲座,涵盖人工智能半导体、人工智能芯片、推理、具身人工智能、移动性和封装工程等主题。
-
风险投资重点转向AI推理、智能体和专用基础设施
一篇Reddit上的讨论探讨了在未来5-10年内,风险投资家可能会如何在AI技术栈中分配资金。参与者正在考虑长期经济价值和防御性将体现在何处,特别是随着焦点从预训练转向推理、智能体和专用基础设施。关键的争论领域包括应用层商品化与垂直应用价值捕获的潜力,以及与NVIDIA等成熟公司相比,专用硬件初创公司的可行性。
-
LLM 推理详解:模型如何运行及 GGUF 文件解析
本文对大型语言模型(LLM)中的推理概念进行了通俗易懂的介绍。它解释了 LLM 如何通过反复预测下一个 token 来生成输出的心智模型,使用类似 `nextToken(input, frozenWeights) -> token` 的函数。文章还深入探讨了 GGUF 文件结构,这些文件包含了模型的全部数据。
-
AI 与 LLM 术语表解释核心工程术语
本文档是面向后端工程师的 AI 和 LLM 工程术语表。它定义了核心概念,如 tokens、context windows、inference 和 parameters,以及与 attention mechanisms 相关的专业术语,如 LoRA、quantization 和 KV cache。该术语表从实践层面解释这些术语,区分它们与研究或营销定义,以帮助日常工作。