honeycomb
PulseAugur coverage of honeycomb — every cluster mentioning honeycomb across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
AI 测试从黄金字符串转向基于属性的评估
有效测试 AI 输出需要评估其属性,而不是依赖单一的、精确的字符串匹配。这种方法承认对于同一个提示可以生成多个正确答案。推荐的方法包括创建测试用例数据集,优先考虑从观察到的失败中提取的用例,并结合使用基于代码的检查和评分标准进行评估。这确保了 AI 回复是基于事实的、遵循指令的、在范围内且避免不安全内容的,并设置了基线通过率来控制发布。
-
QCon AI New York 公布 12 月日程,汇聚科技行业专家
QCon AI New York 已公布其 12 月 15 日至 16 日活动的完整日程。本次会议将邀请来自 LinkedIn、Netflix、DoorDash、Figma、Pinterest、Honeycomb、Harvey 和 Google DeepMind 等知名科技公司的工程师。这些专家将分享关于在生产环境中构建和运行 AI 系统的实践知识,涵盖代理护栏、评估循环、推理成本、AI 代码审查和团队采用策略等主题。
-
大语言模型可观测性工具整合,主要平台收购初创公司 · 跟踪到1个来源
2026年,大语言模型(LLM)可观测性领域出现了显著的整合。在九个月内,三家知名公司——Langfuse、Galileo和Arize AI——被收购。ClickHouse收购了Langfuse,思科将Galileo整合到Splunk中,Dynatrace以9.15亿美元收购了Arize AI。这些收购凸显了大型监控和分析平台通过整合专门的大语言模型可观测性、评估和提示管理能力来填补其产品空白的战略举措。
-
Tracehub-mcp 和 Cost-Guard-mcp 更新默认安全设置
作者详细介绍了 tracehub-mcp 和 cost-guard-mcp 工具的最新升级,重点介绍了默认安全配置的重大变化。Tracehub-mcp 现在默认使用回送地址作为其 HTTP 侦听器,需要通过持有者令牌进行身份验证或显式选择退出,以防止未经授权访问各种后端的跟踪信息。Cost-guard-mcp 的查询执行也已修改,新默认行为是对大型查询仅返回前 1000 行,这现在被视为已计费执行。这些更改是在内部审计后实施的,并有文…
-
OpenTelemetry 将 GenAI 追踪约定移至专用仓库
OpenTelemetry 已将其生成式 AI (GenAI) 语义约定移至一个专门的、更新更快的存储库。此举允许更快地更新用于描述 LLM 调用、工具执行和代理运行的词汇,以适应 AI 领域的快速发展。此举旨在为追踪 AI 代理交互提供一种稳定、厂商中立的方式,尽管规范在不断演变。
-
AI不断发展的能力和影响:从研究评估到加密安全
大型语言模型正被评估其判断AI生成研究创意新颖性的能力,一项新的评估显示,即使是先进的模型,也可能根据提示的变化产生不一致的判断。另外,LLM的运维方面正通过一份面向DevOps工程师的可观测性指南来解决,该指南涵盖了LangChain、Azure OpenAI和Datadog等工具和平台。在不同的背景下,AI被注意到其影响政治竞选的潜力,一些网站冒充地方新闻来推广候选人,尽管Google的产品据报道避免推广它们,而ChatGPT则被…
-
AI技术栈映射:从基础模型到生产部署
通过将供应商组织成不同的层级,从基础模型和实验室开始,可以有效地绘制AI技术栈。这种方法有助于根据能力和成本选择合适的模型,并考虑性能与价格的帕累托前沿。接下来,应根据工作流程的链接方式和状态管理方式来选择代理框架和编排工具。基础层和检索层涉及数据、向量数据库和知识图谱,为模型提供上下文,其中图RAG是一种补充方法。最后,评估、可观测性、可靠性、计算基础设施和开发工具层确保了生产环境中可信AI的部署。
-
LLM 可观测性:关于漂移和指令遵循的告警
可观测性专家 Charity Majors 和工程师 Malte Ubl 主张为已上线的 LLM 功能制定不同的告警策略,区分模型漂移和指令遵循问题等静默故障。他们建议为复杂的代理系统使用基于追踪的告警,为更简单的补全使用基于验证器的告警。需要监控的关键指标包括输入/输出分布、人工反馈、模型变体性能、延迟和成本,所有这些都与追踪 ID 相关联,以便进行有效调试。
-
Honeycomb 视频模型使用固定大小的 HexMemory 实现一致的场景表示
研究人员推出了一种新颖的视频世界模型 Honeycomb,它利用一种名为 HexMemory 的固定大小场景记忆。这种 HexMemory 表示在六个空间和时空平面上采用低秩分解,能够实现一致的记忆存储,无论视频在空间覆盖或时间范围上如何扩展。在 WorldScore 和 RealEstate10K 数据集上的实验表明,Honeycomb 在保持恒定特征存储的同时,实现了强大的视频生成质量和鲁棒的重访一致性。
-
Charity Majors:AI是软件开发的代际变革
Honeycomb的首席技术官Charity Majors已经转变了她对AI在软件开发中影响的看法,从怀疑转变为认识到这是一种代际变化。最初,她认为AI具有重大影响,可与新的编程语言相媲美,但并非根本性转变。然而,到2025年11月,特别是随着Anthropic的Claude Code等进展,她开始将AI视为一种变革力量,类似于2010年云对基础设施的影响。Majors现在认为,工程师将越来越多地发布他们未亲自审查过的代码,依靠强大的…
-
Bifrost领衔9款带可观测性仪表板的AI网关
一份指南重点介绍了九款内置可观测性仪表板的AI网关,这些仪表板对于管理生产环境中的LLM应用至关重要。Bifrost,来自Maxim AI的开源网关,因其企业级性能、安全性和全面的可见性功能而被列为首选。文章概述了评估这些网关的关键标准,包括核心指标、成本分析、警报、数据粒度以及与Prometheus和OpenTelemetry等现有可观测性堆栈的集成。
-
Anthropic的“Honeycomb”模型通过Cursor IDE预览
一位Reddit用户分享了他们通过Cursor IDE访问Anthropic的“Honeycomb”模型的有限体验。该模型的性能与Opus或Grok 4.5相当,但其定价表明它可能更接近Sonnet或Haiku级别的模型。用户注意到频繁的连接错误,并推测该模型可能是Fable 5.1的预览版,因为其安全回退机制,尽管定价与此理论不符。
-
AI 代理面临 MCP 服务器开销带来的隐藏 Token 成本
一项新的分析显示,使用 MCP(模型上下文协议)服务器的 AI 代理会产生显著的隐藏 Token 使用成本,可能比预期多消耗 10-32 倍的 Token。这种开销源于在每次对话轮次中注入 MCP 工具的完整定义,导致了巨大的财务成本,并因上下文窗口压力而降低了模型性能。文章提出了三种解决方案:实施 MCP Gateway 以按需加载工具;使用廉价的分类器进行语义工具路由,仅加载相关的模式;探索工具模式压缩以实现更高效的定义。
-
LLM成本归属:按功能和租户跟踪支出
本文提出了一种在应用程序内详细归属大型语言模型(LLM)使用成本的方法。它建议通过添加自定义属性,如“app.feature”和“app.tenant_id”,来增强现有的跟踪数据,以识别是哪些特定功能或客户在驱动LLM支出。该方法利用OpenTelemetry约定,并主张在LLM调用时计算成本,而不是仅仅依赖提供商的账单仪表板,从而在无需大量代码重写的情况下实现更精细化的财务洞察。
-
AWS 推出 Graviton5 服务器,AI 计算速度提升 35%
AWS 推出了专为 Agentic AI 工作负载设计的新型云服务器实例 M9g 和 M9gd。这些实例由 Graviton5 处理器提供支持,与上一代产品相比,AI 计算性能最高可提升 35%。新型服务器还具有经过数学证明的隔离功能,可增强安全性,适用于医疗和金融等敏感行业。
-
Heimdall MCP 为服务器添加 OpenTelemetry 追踪
Heimdall MCP 是一款新的透明代理工具,旨在提供对 MCP 服务器交互的可视性。它位于 MCP 客户端和服务器之间,将所有通信记录为 OpenTelemetry 跨度,而无需修改现有服务器代码。通过捕获详细的请求和响应数据,这使开发人员能够轻松调试问题、跟踪工具调用和分析性能。
-
LLM 智能体追踪采样:通过采样有价值的追踪,而非随机追踪来削减成本
由于每次用户交互会生成大量的 Span,捕获 AI 智能体的详细追踪可能会变得非常昂贵。本文提出了一种基于尾部采样的解决方案,该方案在追踪完成后进行分析,以识别并仅保留最有价值的追踪,例如涉及错误或复杂工具使用的追踪。作者解释了为什么传统的头部采样对于智能体来说是不够的,并提供了实现有效尾部采样以管理成本的数学推理和 OpenTelemetry 配置示例。
-
AI编码工具扰乱初级开发者培训,威胁未来高级人才管道
AI编码工具正在自动化过去对初级开发者至关重要的入门级任务。这种转变虽然提高了短期生产力,但却带来了长期挑战,它缩小了有抱负的高级开发者的职业道路,并阻碍了基本判断力和系统理解的有机发展。因此,软件工程中传统的学徒模式正在被侵蚀,可能导致未来经验丰富的专业人才短缺。
-
微调大型语言模型对于特定语法、风格和规则仍有价值
根据 Hamel Husain 的说法,微调大型语言模型仍然是一种有价值的技术,尤其适用于需要特定语法、风格或规则的任务。虽然提示工程是测试评估系统的关键第一步,但当模型需要学习特定领域的语言或遵循独特的输出格式时,微调提供了优势。例如,Honeycomb 的查询助手和 ReChat 的房地产 AI 助手就展示了微调的有效性,即使是对于 GPT-3.5 这样的大型模型。