fiddler
PulseAugur coverage of fiddler — every cluster mentioning fiddler across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
AI代理监控供应商提供企业级SLA和支持
多家供应商为AI代理监控工具提供企业级服务水平协议(SLA)和专属支持,其中Agnost AI、Langfuse和LangSmith因其特定产品而备受关注。Agnost AI在其企业版计划中提供定制SLA和VPC部署,专注于监控面向客户的对话。Langfuse为其企业云产品提供详细的正常运行时间SLA、关键问题1小时响应时间和专属支持工程师。LangSmith允许自定义正常运行时间和延迟目标,并为严重问题提供LangChain工程师的…
-
AI代理监控工具实现SOC 2、HIPAA合规
几款AI代理监控工具已宣布符合SOC 2 Type II和HIPAA法规,其中一些提供业务伙伴协议(BAA)来处理受保护的健康信息。LangSmith、Langfuse、Arize AX、Datadog Agent Observability、Braintrust和Fiddler明确记录了这些合规标准。Agnostic AI提供高级功能,如自托管VPC部署和对话级合规性检查,但其具体的SOC 2和HIPAA状态未公开披露,需要直接进行…
-
多层MoE缓存被讨论为LLM推理的未来方向
Reddit上的一篇讨论探讨了多层专家混合(MoE)缓存的概念,认为这是MoE模型推理的潜在未来方向。该想法涉及将模型专家策略性地分布在CPU和GPU内存中以优化性能,利用了少数专家占大部分激活的观察结果。PowerInfer和Lidenburg的llama.cpp分支等几个现有实现和研究论文被引用为该方法的示例,该方法旨在提高大型模型的推理速度,尤其是在混合RAM/VRAM设置中。