Llama3 70B
PulseAugur coverage of Llama3 70B — every cluster mentioning Llama3 70B across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的NLU指南揭示高标签错误率，LLM有所改善
研究人员在个体层面自然语言理解（NLU）任务（如立场检测和情感分析）的数据集中发现了显著的标签错误，错误率高达31.7%。为解决此问题，他们提出了一种新的标注指南，该指南纳入了个体用户的其他帖子，以更好地捕捉主观视角。使用该指南和GPT-4o、Llama3-70B等大型语言模型进行的实验表明，在重新标注的数据集上，纳入个体因素可将模型准确率提高到87%以上，凸显了该方法对未来NLU数据集创建的重要性。
-
集成显卡显存限制导致轻薄笔记本难以运行本地 LLM
许多被宣传为“AI PC”的新款轻薄笔记本电脑，由于集成显卡（iGPU）显存的限制，往往无法实现本地运行大型语言模型（LLM）的承诺。与独立显卡不同，集成显卡共享系统内存，这意味着一台16GB内存的笔记本电脑在操作系统和后台进程占用后，通常只有2-3GB的可用显存供 LLM 使用。虽然量化后的小型模型（80亿参数以下）可以以可接受的速度运行，但大型模型（140亿参数以上）则不切实际，会将计算推到CPU上，导致严重的性能下降。为了有效在…
-
Apple 的 SeedLM 使用伪随机生成器压缩大语言模型权重
研究人员开发了 SeedLM，一种用于大语言模型的新型训练后压缩技术，该技术利用伪随机生成器种子来编码模型权重。该方法旨在通过在推理过程中即时生成权重矩阵来降低大语言模型的高运行时成本，从而减少内存访问并提高内存密集型任务的速度。SeedLM 通过用计算换取更少的内存访问来实现这一点，并且显著的优点是不需要校准数据，在各种任务上都能很好地泛化，并且在显著的压缩水平下仍能保持与 FP16 基线相当的准确性。