一篇新研究论文强调了量化大模型(LLMs)供应链中存在显著的可验证性差距。研究发现,虽然模型签名通常用于验证全精度权重,但将这些权重量化为可用构件的过程并未得到一致的披露或复现。研究人员开发了一种名为独立可验证率(IVR)的指标,并发现Hugging Face上大多数流行大模型的比特级复现所需的构建环境细节缺失,导致IVR为零。该论文提出,诸如浮点收缩设置和每张量化配方等具体细节对于精确复现至关重要,并提出了一个基于精确重新推导的协议来解决这些安全问题。 AI
影响 突出了量化大模型部署中的关键安全和可复现性问题,可能影响信任和采用。
排序理由 学术论文,详细介绍了新的指标和关于大模型供应链安全性的发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →