实体
Philip Kiely
Philip Kiely
PulseAugur coverage of Philip Kiely — every cluster mentioning Philip Kiely across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
LLM推理成本暴跌，但用户账单因使用量增加而飙升
尽管LLM推理价格大幅下降，但由于采用了更大的模型和始终在线的代理基础设施，许多用户的账单却在增加。虽然在MMLU等基准测试中，同等性能下每token的成本已暴跌高达280倍，但六个月内LLM API的总支出却翻了一番。这种差异的出现是因为每任务成本与每token成本不同，用户选择了更复杂和持续的AI操作。来自投资组合理论的“效率前沿”等概念正被应用于LLM推理，以帮助用户优化延迟和吞吐量之间的权衡，或识别真正推动效率曲线本身的技术。
-
《推理工程》一书强调产品优先的AI优化
Philip Kiely 的《推理工程》一书及其配套教程强调了优化AI模型性能的结构化方法。开篇章节着重指出，生成式AI推理比传统机器学习更复杂，需要在模型权重、基础设施和工具之间取得平衡。该书建议避免过早优化，强调在调整之前理解延迟、吞吐量和成本等特定于产品的权衡的重要性。