PulseAugur
中
实时 09:24:23
English(EN) Uncertainty-Aware Sequential Decision Rules for Event-Triggered LLM Invocation in Streaming Systems

新框架优化流式系统中的大语言模型调用

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一个新颖的框架，用于决定在流式推理管道中何时调用昂贵的大语言模型（LLMs）。该方法将问题构建为一个基于风险的序贯停止问题，其中当风险函数超过设定阈值时，触发策略将被激活。该框架提供了性能方面的理论保证，包括事件间隔时间的界限、遗憾分析以及自适应阈值的收敛特性。在涡扇发动机退化数据上的实证验证表明，所提出的异常分数驱动的风险函数显著优于基线方法，实现了高诊断质量和次线性遗憾。 AI

影响 优化流式应用中的大语言模型使用，可能降低人工智能驱动系统的成本并提高效率。

排序理由 学术论文，详细介绍了流式系统中大语言模型调用的新理论框架和实证验证。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新框架优化流式系统中的大语言模型调用

报道来源 [1]

  1. arXiv stat.ML TIER_1 English(EN) · Zhaohui Wang ·

    面向流式系统的事件触发式大语言模型调用的不确定性感知序列决策规则

    arXiv:2607.13048v1 Announce Type: cross Abstract: Streaming inference pipelines increasingly pair lightweight fast models with Large Language Models (LLMs) that provide rich semantic understanding at substantial cost. The central question of when to invoke the LLM has received li…

相关实体

相关话题