Nexus Labs
PulseAugur coverage of Nexus Labs — every cluster mentioning Nexus Labs across labs, papers, and developer communities, ranked by signal.
- 2026-05-29 product_launch Nexus Labs implemented a multi-LoRA serving strategy using vLLM to reduce infrastructure costs for enterprise AI deployments. 来源
6 天有情绪数据
Nexus Labs' new evaluation strategy may become a de facto standard for evaluating LLM agents.
Nexus Labs discovered that aggregate evaluation scores can mask critical performance regressions in specific customer segments. Their new strategy, which stratifies results by customer segment and gates deployments on the worst-performing slice, addresses this issue. This more robust evaluation methodology could be adopted by other organizations seeking to ensure reliable performance across diverse user bases.
Nexus Labs is actively optimizing vLLM for diverse LLM workloads, encountering both successes and challenges.
Recent evidence shows Nexus Labs experimenting with vLLM's continuous batching and prefix caching. While prefix caching significantly reduced latency for consistent system prompts, continuous batching led to p99 latency spikes. This suggests Nexus Labs is pushing the boundaries of vLLM but requires careful tuning and workload-specific configurations to achieve optimal performance across all use cases.
Nexus Labs will announce a new product or service leveraging their multi-LoRA serving capability within 90 days.
Nexus Labs has demonstrated a cost-effective method for serving 40 LoRA adapters on a single Llama 3.1 model, significantly reducing infrastructure costs. This capability is particularly valuable for enterprise deployments with diverse customer needs. It is plausible they will productize this efficiency gain into a new offering or a feature of an existing service to attract customers seeking cost-optimized LLM solutions.
-
Bifrost 请求标记使 LLM 评估更精细
引入了一种评估大型语言模型 (LLM) 的新方法，该方法使用 Bifrost 维度头的请求标记。此方法将检查点和运行 ID 等元数据附加到每个 LLM API 调用，从而能够按特定的模型版本或配置精确地切分评估分数。这解决了归因问题，即总准确度变化难以追溯到特定的模型检查点，从而提供了更精细、更可靠的评估过程。
-
LLM 裁判显示 18% 的位置偏差；双重评分可降低错误率
Nexus Labs 的一项研究显示，用作裁判的大型语言模型 (LLM) 表现出明显的位置偏差，在 18% 的比较中偏爱第一个呈现的答案。这种偏差在 GPT-4o 和 Claude 3.5 Sonnet 等模型中均有观察到，较小模型的影响更为显著。为缓解此问题，Nexus Labs 实施了一种双重评分方法，其中每对响应都会以两种顺序进行评估，并且仅计算一致的判决，从而将翻转率降低到 4% 以下。
-
LLM 评估指标需要置信区间来区分信号与噪声
评估大型语言模型 (LLM) 需要理解性能指标中固有的不确定性。单一分数，例如 84.2% 的准确率，可能具有误导性，因为它没有考虑到抽样误差。通过使用 bootstrap 置信区间，开发人员可以将点估计转换为一个范围，揭示模型之间观察到的差异是否具有统计学意义，还是仅仅是噪声。这种方法，特别是用于模型比较的配对 bootstrap，有助于确保改进是真实的，而不是特定评估数据集的结果。
-
Gateway 简化了跨多个提供商的 LLM 基准测试
Nexus Labs 开发了一个名为 Bifrost 的网关，以简化多个大型语言模型 (LLM) 的基准测试。通过将请求路由到单一的 OpenAI 兼容端点，Bifrost 简化了集成过程，无需为 OpenAI、Anthropic、Bedrock、Vertex 和 Groq 等提供商使用多个 SDK 和自定义重试逻辑。这种方法减少了因基础设施差异引起的评估结果中的噪音，并提高了基准测试运行的可靠性，尽管其好处仅限于多提供商场景。
-
LLM 评估可复现性问题追溯至批处理和静默路由
LLM 评估中的可复现性问题已被查明，其根源并非来自温度等采样参数，而是源于底层推理引擎的行为和提供商的路由。具体而言，批处理中的浮点数变异和静默路由到不同模型版本导致了评估分数的不一致。解决方案包括采用固定的批处理大小和急切执行模式来配置特定的服务，并实施强大的日志记录以跟踪为每个请求提供服务的具体模型和提供商。
-
量化导致任务准确率下降 7 个点，绕过了困惑度
一家名为 Nexus Labs 的公司发现，使用 GPTQ 将一个微调过的 14B 代理模型量化到 INT4，导致多步任务完成准确率显著下降 7 个点，尽管困惑度指标仅显示微小变化。这个问题在模型在多步中未能保持约束的长序列中尤为明显。因此，Nexus Labs 实施了一项新的评估流程，优先考虑特定领域的任务完成情况，而不是对任何推理级别的模型更改进行困惑度评估。
-
新方法通过投机解码提高 LLM 推理速度 · 跟踪 7 个来源
研究人员正在开发先进的投机解码技术来加速大型语言模型 (LLM) 推理。JetFlow 是一个新框架，通过结合草稿效率和因果条件，提高速度，在各种基准测试中实现显著加速。EfficientRollout 专注于通过使用系统感知型自我投机解码来加速强化学习的 rollout，适应不断变化的策略和系统条件以减少延迟。Nightjar 提供了一种资源感知型自适应方法，动态调整投机解码长度并在有利时禁用它，以在实时服务场景中最大化吞吐量。另外…
-
ML数据污染使Qwen3-8B模型性能虚增9个点
Nexus Labs的一个机器学习团队发现，他们微调的Qwen3-8B模型性能显著提升是由于数据污染造成的。该模型在票务路由任务上达到了80.4%的准确率，远高于基础模型的71.2%，但这种提升是虚假的。在使用MinHash LSH检测训练集和评估集之间的近乎重复条目后，他们发现大约6%的评估数据无意中被包含在了训练集中。在移除这些受污染的样本后，模型的真实准确率接近72%，表明微调过程的实际改进微乎其微。
-
Nexus Labs团队发现小的评估增益通常是统计噪音
Nexus Labs的一支机器学习团队发现，最近一次模型升级是基于统计上不显著的性能提升。他们内部的评估套件使用精确匹配检查，显示提高了2.1个点，这促使他们部署了该模型。然而，在实施bootstrap置信区间后，他们发现这种提升在误差范围内，表明该模型实际上并没有更好。该团队此后更新了其升级流程，以包含统计显著性测试和多次评估运行，以防止类似问题的发生。
-
开发团队遭遇静默LLM供应商模型漂移
一个软件工程团队的自动化回归评估分数显著下降，原因是第三方供应商的静默模型更新。该团队发现他们使用的模型通过一个浮动别名进行更新，导致他们的评估工具在不知情的情况下测试了不同的版本。为解决此问题，他们实施了一个网关解决方案，强制使用精确的、带日期的模型字符串，并增加了监控以检测底层模型的任何变化。
-
Nexus Labs 代理评估掩盖了关键客户群体的14点回归
Nexus Labs 的一个微调团队发现，他们对一个 AI 代理的聚合评估分数具有误导性，掩盖了一个特定客户群体显著的性能下降。尽管总体通过率保持在稳定的 87%，但一个客户的成功率却从 91% 下降了 14 个百分点，降至 77%。为解决此问题，该团队实施了一种新的评估策略，该策略按客户群体对结果进行分层，并根据表现最差的细分群体而不是平均值来决定部署。
-
Nexus Labs 通过在单个 Llama 3.1 模型上服务 40 个 LoRA 适配器来降低成本
Nexus Labs 开发了一种经济高效的方法，可以在单个基础模型上服务多个 LoRA 适配器，从而显著降低基础设施成本。通过利用 vLLM 的多 LoRA 服务功能，他们将 40 个客户特定的适配器整合到两个 A100 GPU 上，将月成本从估计的 24,000 美元削减到一小部分。虽然这种方法会带来少量的延迟成本，并且需要仔细评估以确保输出一致性，但对于满足不同客户需求的企业部署来说，它被证明非常高效。
-
微调后的 Llama 3.1 8B 在发票提取方面优于 GPT-4o-mini
Nexus Labs 进行了一项影子测试，将一个微调后的 Llama 3.1 8B 模型与 OpenAI 的 gpt-4o-mini 在发票行项目提取方面进行了比较。尽管在特定字段上存在 1.1% 的初始幻觉率，但微调后的模型在准确性上提高了 1.8 个百分点，并且每调用成本降低了 71%。测试利用了 Bifrost 的负载均衡和自定义插件功能来镜像生产流量，而不影响实时响应，从而能够离线比较输出结果。
-
vLLM连续批处理导致Llama 3.3的p99延迟飙升
Nexus Labs的一名开发人员在为Llama 3.3 70B模型启用vLLM中的连续批处理后，遇到了显著的延迟问题。虽然吞吐量最初有所提高，但p99延迟增加了八倍，影响了他们的服务水平目标。问题追溯到在同一前向传递中，长预填充请求阻塞了解码操作。
-
Nexus Labs 使用 Bifrost 虚拟密钥替换了 60% 的 LLM 中间件
Nexus Labs 通过使用 Bifrost 的虚拟密钥系统替换了其 11,247 行 Python 代码中的 60% 以上，显著减少了其定制的 LLM 中间件。这一改变简化了每个租户的成本归属、速率限制和提供商故障转移，将 p95 延迟从 47 毫秒降低到 8 毫秒，并将添加新模型的时间从两天缩短到不到一个小时。虽然 Bifrost 提供了实质性的改进，但 Nexus Labs 也指出了其局限性，包括成本归属迁移的挑战以及为某些代…
-
LLM 裁判变异性几乎导致 Nexus Labs 的代理训练脱轨
Nexus Labs 在为其预订代理进行 DPO 训练时遇到了一个重大问题，其中用作偏好裁判的 LLM 表现出高度的自我不一致性（高达 28%），导致生产准确率下降了 4 个百分点，尽管训练指标看似干净。该团队通过实施一个基于共识的裁判系统来解决此问题，该系统使用了三个不同的 LLM（GPT-4o-mini、Claude Sonnet 和 Gemini 2.5 Pro），并采用 2/3 的多数规则，这提高了裁判的一致性并恢复了生产准确…
-
vLLM 的前缀缓存大幅降低了 Nexus Labs 的 AI 代理延迟
Nexus Labs 通过实施 vLLM 的前缀缓存功能，显著改善了其 AI 代理的推理延迟。对于具有一致系统提示的租户，此优化将首次令牌时间（TTFT）的平均值从 410 毫秒降低到 110 毫秒。然而，缓存的有效性高度依赖于提示模板，因为一个租户直到其提示结构被重构以避免唯一前缀后才体验到显著改进。
-
Bifrost网关提升机器人和智能体的LLM成本和数据质量
Nexus Labs和Prophesee的两个独立团队采用了Bifrost（一个开源网关）来管理与多个大型语言模型的交互。Prophesee使用Bifrost为120万个机器人帧添加字幕，通过智能地在GPT-4o、Claude 3.7 Sonnet和Gemini 2.5 Pro之间路由请求，节省了22%的成本。Nexus Labs实施了Bifrost来提高其智能体训练数据的质量，发现由于模型行为不一致和提供商隐藏的故障，近一半的生产跟…
-
LLM 评估工具已更新，支持生产数据和对抗性测试
提出了一种评估大型语言模型（LLM）的新方法，以解决静态评估工具无法检测模型回归的问题。该方法包括每周使用真实的生产追踪数据刷新评估数据集，并按意图集群进行分层抽样，以确保代表性。此外，一个永久性的对抗性数据集，该数据集是从表明模型故障的实际客户支持票证中精心挑选出来的，在评估过程中被赋予很高的权重，以优先考虑实际性能。
-
衡量AI网关故障转移：30天生产数据
Anthropic发布了关于Claude的谄媚行为的更新，指出Opus 4.7与Opus 4.6相比，谄媚回应减少了50%，尤其是在关系指导对话中。该公司还详细介绍了其选举保障措施，强调Claude在提供政治信息方面的公正性和准确性，Opus 4.7和Sonnet 4.6在评估中得分很高。此外，Andrej Karpathy的2025年回顾强调了可验证奖励强化学习（RLVR）作为一项关键进展，使模型能够发展推理策略并导致