20b
PulseAugur coverage of 20b — every cluster mentioning 20b across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
本地大语言模型内存需求：权重、KV缓存和可用内存详解
估算本地大语言模型所需的内存包括计算模型权重、KV缓存和开销的总和，然后将其与设备上可用的内存进行比较。量化显著影响权重大小，Q4_K_M等格式比FP16需要更少的内存。KV缓存对于生成文本至关重要，它随上下文长度线性增长，这意味着在4K上下文下能运行的模型在32K下可能无法运行。可用内存因硬件而异，Apple Silicon的统一内存需要一部分用于操作系统，而独立GPU的显存是严格的限制。最终，模型需要低于可用内存的80%才能可靠运…
-
新的基准测试用于评估大型语言模型对丹麦文化遗产的理解能力
研究人员开发了SDUs DAISY，一个旨在评估大型语言模型对丹麦文化遗产理解能力的新基准测试。该基准测试源自2006年丹麦文化名录和维基百科，包含741个经过人工验证的问答对，涵盖了广泛的文化制品。初步测试显示，包括Llama-3.3-70B和GPT-OSS-120B在内的当前模型表现不佳，表明该基准测试的挑战性。数据集和评估工具可在Hugging Face Datasets上公开获取。
-
用户花费200美元从头开始训练了一个11亿参数的LLM，并分享了代码和模型
一位用户仅花费约200美元就从头开始成功训练了一个拥有11亿参数的大型语言模型。该模型名为'gemmeh'，在fineweb-edu数据集的200亿个token上进行了预训练，然后使用LoRA在openhermes数据集上进行了微调，以创建一个能够进行聊天的模型。该用户分享了该项目的代码、模型权重和一个演示网站，并详细介绍了架构选择和训练过程。
-
20B MoE AI 模型在 iPhone 上以 120 tokens/秒的速度运行
一项名为 Maple-Preview 的新演示展示了一个 200 亿参数的专家混合（MoE）模型，能够在 iPhone 上以每秒 120 个 token 的速度运行。这一进展凸显了大型语言模型日益提高的效率和设备端能力。