Cusumano
PulseAugur coverage of Cusumano — every cluster mentioning Cusumano across labs, papers, and developer communities, ranked by signal.
-
新方法以96%的准确率区分遥测数据错误
研究人员开发了一种新方法，用于区分流式遥测数据中的过程变化、仪器故障和数据损坏。该方法结合使用了多种在线检测器，包括带有CUSUM和EWMA图的卡尔曼跟踪器、带有广义ESD的Hampel中位数以及带有ADWIN的鲁棒噪声统计。该系统在注入事件上实现了96.3%的检测率和每小时0.22次的误报率，并且在单通道时以91.2%的准确率正确归因原因，在双通道时提高到99.0%。当应用于记录的工业信号时，检测率下降到80.8%，但仍实现了84.…
-
新的统计方法在广义线性模型中提供更快的变化点检测
研究人员开发了一种新的统计方法，用于检测广义线性模型中的变化，特别是在变化后的参数未知的情况下。该方法称为窗口有限累积和（CUSUM）程序，使用变分不等式（VI）估计来提高有限的变后观测值的准确性。该程序旨在保持误报控制，同时实现渐近最优性，并通过数值实验将其检测延迟和更新成本与现有方法进行比较。
-
新的 DI-SCUSUM 方法使用扩散得分改进变化检测
研究人员开发了一种名为扩散集成得分累积和（DI-SCUSUM）的新方法，用于最快变化检测。这种无需训练的检测器使用高斯噪声平滑密度估计并精确计算 Hyvärinen 得分，避免了对训练过的得分网络的需要。DI-SCUSUM 递归使用重要性加权得分差作为增量，该增量与后验变化到先验变化的分布的 Kullback-Leibler 散度成正比。实验表明，在 MNIST 和 Oxford-IIIT Pet 等基准数据集上，DI-SCUSUM …
-
新基准检测协调的AI代理侦察攻击
研究人员开发了SwarmReconGuard，一个旨在检测代理群体进行的分布式集体侦察（DCR）的新基准系统。DCR涉及大量单独行为良性但集体上收集广泛系统知识的代理。该研究评估了各种检测方法，发现高斯似然比检测在已知攻击上实现了完美的准确率，但在处理未见过策略时遇到困难。混合CUSUM方法显示出潜力，在规模化应用中以极少的误报率达到了高检测率。
-
AI搜索可靠性测试在OpenAI、Gemini和Claude中均失败
对OpenAI、Gemini和Claude的AI搜索能力进行的最新分析揭示了重大的可靠性问题。从5月到9月进行的、用于测量AI搜索准确性的预先注册测试未能证实其有效性。主要发现包括每日响应不一致、测量结果之间相关性低以及许多问题缺乏变异性，这表明表面上的可靠性通常是由于问题多样性而非一致的表现。此外，观察到性能出现不明原因的下降，特别是Claude，这可能归因于搜索结果的变化或评分标准无法区分“未找到信息”与“将其与不相关数据混淆”。
-
新的CURA系统通过认证运行时警报检测AI代理故障
一个名为CURA的新系统已被开发出来，用于实时监控计算机使用代理（CUAs）并检测故障。CURA通过分析遥测数据来运行，无需访问代理的内部工作机制，也不需要额外的LLM调用。在OSWorld任务的测试中，CURA成功识别了42.3%的故障，通常在任务终止前很长一段时间就发出警报，同时保持了较低的误报率。该系统旨在通过提供认证的运行时警报来加强监督，从而实现执行中的干预并可能恢复失败的任务。
-
新的KAISEN流程增强了临床AI模型公平性审计
研究人员开发了KAISEN，一个新颖的五阶段审计流程，旨在提高临床风险模型中公平性评估的可复现性和可靠性。该流程涵盖子群分层、差异度量、机制诊断、事后缓解和漂移监控。在合成基准上的评估显示，每组阈值优化显著减少了差异，而分组Platt缩放效果有限。在代理模型错误指定下的受控场景中，机制诊断组件被证明是有效的，但在模型驱动的情况下则表现不佳。
-
新方法让开发者可检测 LLM API 静默更改 · 跟踪 2 个来源
开发者现在可以系统地检测到托管的大型语言模型（如 gpt-x 或 Claude Yelnick）何时悄悄改变其行为。该方法包括建立一个固定的“金丝雀套件”（canary suite）提示，并记录诸如 JSON 有效性或输出长度等客观指标随时间的变化。通过应用 CUSUM 等变点检测算法，开发者可以识别模型性能何时发生变化，区分提供商端的变化和用户端的变化。
-
新型AI检测器确保模型可靠性，无需标签
研究人员开发了两种新颖的概念漂移检测器CFPT-FM和TabAutoDrift，旨在无需部署后标记数据即可在动态环境中保持AI模型的可靠性。这些方法结合了表示学习和统计检验，以识别模型性能何时因输入分布变化而下降，从而发出需要重新训练的信号。在定位和异常检测等无线应用中的评估表明，与传统检测器相比，这些方法表现更优，实现了更高的F1分数和更可靠的可靠性决策。
-
研究发现：AI代理监控器因时钟校准存在缺陷
一篇新研究论文《Bistable by Construction: Wall-Clock-Calibrated State Monitors Have No Moment-Detection Regime at Agent Cadence》发布在arXiv上，指出了自主代理运行时监控器的一个关键缺陷。由Modgil和Cusumano领导的研究表明，与采样时间相比，以挂钟时间校准的监控器会表现出一种陷阱状态，导致其警报近乎恒定。这个问题…
-
新研究通过新颖的检测和纠正方法解决 LLM 和 VLM 幻觉问题
研究人员正在开发新颖的方法来对抗大型语言模型 (LLM) 和视觉语言模型 (VLM) 中的幻觉。一种方法，循环注意力不确定性量化 (RAUQ)，利用注意力头行为来有效检测 LLM 中的事实不准确性，计算开销极小。对于 VLM，诸如检索增强的可靠性感知推理和注意力不平衡校正 (AIR) 等技术旨在通过将响应与外部证据联系起来并重新分配注意力权重来提高可信度。其他方法侧重于解开 VLM 解释中的语义泄漏，并使用反证据验证用于医疗应用，所有…