一个名为HoliBench的新工具包已被开发出来,旨在解决在资源受限的CPS-IoT应用上部署基础模型(包括大型语言模型)所面临的挑战。该工具包提供了一个统一的工作流程,用于在从单板计算机到GPU服务器的各种设备上评估模型的准确性、延迟和能耗。HoliBench的平台抽象层以及对多种模型模态和推理引擎的支持,实现了全面的跨设备测量,揭示了传统工具所忽略的权衡。该开源基础设施旨在促进面向部署的基础模型评估。 AI
影响 通过提供统一的评估框架,能够更有效地在边缘设备上部署基础模型。
排序理由 该项目是一篇研究论文,详细介绍了一个用于评估基础模型的新工具包。[lever_c_demoted from research: ic=1 ai=1.0]
- CPS-IoT applications
- GPU servers
- HoliBench
- Inesh Chakrabarti
- large-language models
- single-board computers
- Time Series Foundation Models
- vision-language model
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →