一项新的研究论文引入了“每瓦特智能”(IPW)作为评估本地AI模型效率的指标。研究发现,本地模型可以准确回答88.7%的现实世界查询,并且在2023年至2025年间IPW提高了5.3倍。与基于云的解决方案相比,本地加速器也显示出至少低1.4倍的IPW,这表明本地推理可以显著减轻集中式基础设施的需求。 AI
影响 引入了一个新指标来跟踪本地AI推理的可行性和效率,可能将需求从云基础设施转移。
排序理由 该集群包含一篇提出新指标并评估AI模型和硬件的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- frontier models
- Intelligence per Watt
- Jon Saad-Falcon
- local AI
- local LMs
- Apple M4 Max
- cloud infrastructure
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →