Fergal Reid
PulseAugur coverage of Fergal Reid — every cluster mentioning Fergal Reid across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
LLM选择需要定制化评测,而非依赖公开排行榜
在选择生产用LLM时,至关重要的是要使用真实世界的数据进行定制化的“模型评测”,而不是仅仅依赖公开排行榜。这个过程包括在一项特定的、高流量且输出要求稳定的任务上,测试一个前沿模型和一个较小的候选模型。需要跟踪的关键指标包括准确性、延迟和成本,重点是比较潜在微调前后的性能。
-
Intercom CTO 详解自托管 LLM 的成本节约策略
Intercom 的首席人工智能官 Fergal Reid 概述了从基于 API 的 LLM 服务转向自托管开源模型(open-weight models)的成本效益分析。他认为,对于高流量、重复性任务且具有明确输入输出合同的任务,例如查询规范化(query canonicalization),自托管可以显著降低成本。Reid 估计,通过微调 Qwen 模型,Intercom 在一项此类任务的推理成本上每月节省了数十万美元,但这需要工…
-
Intercom 通过用微调的 Qwen 模型替换 GPT-4.1 节省了数百万美元
Intercom 的首席人工智能官 Fergal Reid 讨论了一种优化大型语言模型使用的方法,即用针对特定、高流量辅助任务微调的小型开源模型替换昂贵的尖端模型。这种方法成功应用于查询规范化任务,其中一个拥有 140 亿参数的 Qwen 模型替换了 GPT-4.1 的摘要步骤,从而节省了大量成本。Reid 强调,当任务是辅助性的、尖端模型是过度杀伤力,并且一个提示良好的开源模型已经接近尖端模型的性能时,这种替换最为有效。
-
开放权重LLM:生产中的挑战与战略启示 · 跟踪1个来源
正如“Chain of Thought”系列所揭示的,在生产环境中采用开放权重大型语言模型(LLM)所带来的挑战,远不止于成本节省。DeepSeek的R1发布迫使人们重新评估定价底线和面向智能体功能的路线图,强调了超越简单演示的稳健性能评估的必要性。像Intercom这样的公司通过微调Qwen等较小的开放模型以适应特定任务,实现了可观的成本节约,但这成功的前提是采取整体系统方法,包括定制的重排模型和检索模型,而不仅仅是替换核心LLM。…
-
部署小型AI模型:精度、适配器和硬件检查
部署小型AI模型需要仔细考虑精度、适配器方法和硬件。量化可以减小模型尺寸并加快推理速度,但将比特宽度推得太低可能会导致跨任务的准确性不均匀下降。Intercom的Fergal Reid指出,对于复杂任务,已从LoRA等参数高效方法转向使用强化学习进行全监督微调,强调了对健壮基础设施的需求。Liquid AI的Maxime Labonne强调了在目标硬件(如三星手机)上衡量性能的重要性,以确保理论速度能够转化为设备上模型的实际应用。
-
AI领导者通过用专业LLM替换前沿模型来削减成本
来自Intercom和Superhuman Mail的AI领导者讨论了通过使用更小、更专业的模型来处理高容量代理任务,以优化LLM成本的策略。Intercom的Fergal Reid详细介绍了如何使用一个140亿参数的Qwen模型取代GPT-4.1进行查询摘要,每月节省数十万美元。Superhuman Mail的Loïc Houssier解释了类似的方法,从一个强大的分类模型转向一个微调的BERT分类器进行邮件自动标记。两人都强调,在…