一项新研究表明,边缘设备上视觉语言模型(VLM)的能源消耗主要由生成的输出量驱动,而非视觉输入的复杂性。研究人员发现,生成每个输出令牌比处理输入令牌花费的时间更长,消耗的能源也更多。这表明,减少VLM能源消耗的努力应侧重于控制输出长度,因为即使消除视觉输入处理,能源节省也微乎其微。 AI
影响 专注于VLM的输出长度控制可以显著降低边缘设备的能源消耗。
排序理由 该集群包含一篇详细介绍VLM能源消耗研究结果的论文。
- CNNs
- compound shrinking
- dynamic image cropping
- dynamic inference framework
- EdgeCompress
- ImageNet-1K
- ResNet-50
- Hugging Face
- NVIDIA Jetson Orin NX 16GB
- Nvidia RTX 3070
- vision-language model
- Vision--Language Models
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →