研究人员推出了一种新颖的框架HINT,旨在提高Tabular Foundation Models (TFMs) 在高吞吐量数据流中的效率。HINT通过结合边缘检索和云端TFM推理,解决了通信开销和延迟的挑战。该系统使用基于图的近似最近邻存储器进行本地预测和估计不确定性,仅选择性地将不确定的实例卸载到云端进行TFM处理。实验表明,HINT有效地平衡了预测性能和通信成本。 AI
影响 该框架可以实现大型表格模型在实时数据处理场景中的更高效部署。
排序理由 该集群包含一篇研究论文,详细介绍了用于提高模型推理效率的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- Bibliographic Explorer
- CatalyzeX Code Finder for Papers
- Connected Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- IArxiv Recommender
- Influence Flower
- Litmaps
- ScienceCast
- scite Smart Citations
- tabular foundation models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →