实体
Hailo-10H
Hailo-10H
PulseAugur coverage of Hailo-10H — every cluster mentioning Hailo-10H across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
LLM推理效率在边缘设备和云GPU上的探索
两篇新研究论文探讨了高效运行大型语言模型（LLM）的挑战。第一篇论文研究了在智能手机和专用NPU等边缘设备上部署LLM的性能权衡，强调了热限制和内存带宽限制。第二篇论文介绍了一个使用启发式算法的可扩展框架，用于优化异构GPU云环境中LLM推理的资源分配，旨在满足服务水平目标的同时最大限度地降低成本。
-
AI HAT+ 2 通过 Hailo-10H 在 Raspberry Pi 5 上实现本地 LLM
新的 AI HAT+ 2 配备 Hailo-10H 芯片，为 Raspberry Pi 5 提供 40 TOPS 的处理能力。这使得 Llama 3.2 和 DeepSeek R1 等大型语言模型能够本地运行。HAT+ 2 包含 8GB 专用 RAM，速度可达每秒 50 个 token，实现了具有增强隐私的完全离线 AI 功能。