实体
Llama3 70B
Llama3 70B
PulseAugur coverage of Llama3 70B — every cluster mentioning Llama3 70B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
集成显卡显存限制导致轻薄笔记本难以运行本地 LLM
许多被宣传为“AI PC”的新款轻薄笔记本电脑，由于集成显卡（iGPU）显存的限制，往往无法实现本地运行大型语言模型（LLM）的承诺。与独立显卡不同，集成显卡共享系统内存，这意味着一台16GB内存的笔记本电脑在操作系统和后台进程占用后，通常只有2-3GB的可用显存供 LLM 使用。虽然量化后的小型模型（80亿参数以下）可以以可接受的速度运行，但大型模型（140亿参数以上）则不切实际，会将计算推到CPU上，导致严重的性能下降。为了有效在…
-
Apple 的 SeedLM 使用伪随机生成器压缩大语言模型权重
研究人员开发了 SeedLM，一种用于大语言模型的新型训练后压缩技术，该技术利用伪随机生成器种子来编码模型权重。该方法旨在通过在推理过程中即时生成权重矩阵来降低大语言模型的高运行时成本，从而减少内存访问并提高内存密集型任务的速度。SeedLM 通过用计算换取更少的内存访问来实现这一点，并且显著的优点是不需要校准数据，在各种任务上都能很好地泛化，并且在显著的压缩水平下仍能保持与 FP16 基线相当的准确性。