PulseAugur
中
实时 21:25:45
实体 Fergal Reid

Fergal Reid

PulseAugur coverage of Fergal Reid — every cluster mentioning Fergal Reid across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
5
90 天内 6
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

3 天有情绪数据

最近 · 第 1/1 页 · 共 6 条
  1. COMMENTARY · CL_358547 ·

    LLM选择需要定制化评测,而非依赖公开排行榜

    在选择生产用LLM时,至关重要的是要使用真实世界的数据进行定制化的“模型评测”,而不是仅仅依赖公开排行榜。这个过程包括在一项特定的、高流量且输出要求稳定的任务上,测试一个前沿模型和一个较小的候选模型。需要跟踪的关键指标包括准确性、延迟和成本,重点是比较潜在微调前后的性能。

  2. COMMENTARY · CL_349772 ·

    Intercom CTO 详解自托管 LLM 的成本节约策略

    Intercom 的首席人工智能官 Fergal Reid 概述了从基于 API 的 LLM 服务转向自托管开源模型(open-weight models)的成本效益分析。他认为,对于高流量、重复性任务且具有明确输入输出合同的任务,例如查询规范化(query canonicalization),自托管可以显著降低成本。Reid 估计,通过微调 Qwen 模型,Intercom 在一项此类任务的推理成本上每月节省了数十万美元,但这需要工…

  3. TOOL · CL_316264 ·

    Intercom 通过用微调的 Qwen 模型替换 GPT-4.1 节省了数百万美元

    Intercom 的首席人工智能官 Fergal Reid 讨论了一种优化大型语言模型使用的方法,即用针对特定、高流量辅助任务微调的小型开源模型替换昂贵的尖端模型。这种方法成功应用于查询规范化任务,其中一个拥有 140 亿参数的 Qwen 模型替换了 GPT-4.1 的摘要步骤,从而节省了大量成本。Reid 强调,当任务是辅助性的、尖端模型是过度杀伤力,并且一个提示良好的开源模型已经接近尖端模型的性能时,这种替换最为有效。

  4. COMMENTARY · CL_297948 ·

    开放权重LLM:生产中的挑战与战略启示 · 跟踪1个来源

    正如“Chain of Thought”系列所揭示的,在生产环境中采用开放权重大型语言模型(LLM)所带来的挑战,远不止于成本节省。DeepSeek的R1发布迫使人们重新评估定价底线和面向智能体功能的路线图,强调了超越简单演示的稳健性能评估的必要性。像Intercom这样的公司通过微调Qwen等较小的开放模型以适应特定任务,实现了可观的成本节约,但这成功的前提是采取整体系统方法,包括定制的重排模型和检索模型,而不仅仅是替换核心LLM。…

  5. TOOL · CL_283299 ·

    部署小型AI模型:精度、适配器和硬件检查

    部署小型AI模型需要仔细考虑精度、适配器方法和硬件。量化可以减小模型尺寸并加快推理速度,但将比特宽度推得太低可能会导致跨任务的准确性不均匀下降。Intercom的Fergal Reid指出,对于复杂任务,已从LoRA等参数高效方法转向使用强化学习进行全监督微调,强调了对健壮基础设施的需求。Liquid AI的Maxime Labonne强调了在目标硬件(如三星手机)上衡量性能的重要性,以确保理论速度能够转化为设备上模型的实际应用。

  6. COMMENTARY · CL_278285 ·

    AI领导者通过用专业LLM替换前沿模型来削减成本

    来自Intercom和Superhuman Mail的AI领导者讨论了通过使用更小、更专业的模型来处理高容量代理任务,以优化LLM成本的策略。Intercom的Fergal Reid详细介绍了如何使用一个140亿参数的Qwen模型取代GPT-4.1进行查询摘要,每月节省数十万美元。Superhuman Mail的Loïc Houssier解释了类似的方法,从一个强大的分类模型转向一个微调的BERT分类器进行邮件自动标记。两人都强调,在…