DiffusionGemma 26B
PulseAugur coverage of DiffusionGemma 26B — every cluster mentioning DiffusionGemma 26B across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
研究发现语言模型可在推理过程中学习
一篇新的研究论文探讨了语言模型在推理过程中学习的概念，这一过程被称为动态评估。研究发现，当标准 softmax-attention 模型在文本块上执行梯度步骤时，其下一个 token 损失显著降低，并且在长上下文基准测试中优于冻结模型。然而，这种适应性主要提高了风格和词汇回忆能力，而非事实检索能力。对于掩码扩散模型，适应性更为明显，带来了实质性的提升。研究还表明，通过将模型自身的结论条件判断蒸馏到一个低秩适配器中，在 GSM8K 等任…
-
GH200 上的 DiffusionGemma 26B 展现极速，支持 32K 上下文
一次技术深度分析揭示，在 NVIDIA 的 GH200 Grace Hopper 平台和 vLLM 优化下运行的 DiffusionGemma 26B 模型，取得了卓越的性能。该配置在短上下文处理中实现了每秒 1180 个 token 的生成吞吐量，并能以可接受的延迟处理长达 32,000 个 token，显著优于之前在 M2 Max 硬件上的测试结果。尽管该模型在 GH200 的 HBM3 上的内存占用很大，为 KV 缓存留下的空间…
-
DiffusionGemma 26B 在 4090 上速度虽快，但准确性和上下文理解能力欠佳
一位 Reddit 用户分享了他们在 4090 GPU 上运行 DiffusionGemma 26B 模型的经验，速度介于每秒 290-700 个 token 之间。然而，他们发现该模型仅限单用户使用，准确性不如标准的 Gemma 模型，并且容易出现上下文遗忘。该用户总结认为，该模型不值得投入精力，因为通过 llama.cpp 运行的常规 26B 模型提供了更好的性能和准确性。