SmolLM2-135M
PulseAugur coverage of SmolLM2-135M — every cluster mentioning SmolLM2-135M across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新研究详述在单 GPU 上训练的小型语言模型
研究人员详细介绍了一种使用显著更少计算资源（具体来说是在单个 NVIDIA L20 GPU 上）训练小型语言模型 L20-Edu-135M 的方法。该研究侧重于数据效率，预训练使用了约 130 亿个 token，这仅占同类模型通常使用的 token 数量的一小部分。虽然所得模型并未超越 SmolLM-135M 等现有的最先进的小型模型，但其性能优于较旧的公开基线模型，并为资源受限的语言模型开发提供了一个可审计的案例研究。
-
LLM教程解释基础模型、指令模型和对话模型的区别
一个教程演示了大型语言模型中基础模型、指令模型和对话模型之间的区别。它使用了SmolLM2-135M系列，可以在Google Colab上运行而无需GPU，来说明模型如何从基本的文本补全演变为有用的助手。教程强调，基础模型预测下一个token，指令模型在指令-响应对上进行了微调，需要特定的格式，而对话模型则建立在指令模型之上，增加了对话记忆。
-
紧凑型孟加拉语大语言模型以高效设计超越大型模型
研究人员开发了一种新的紧凑型语言模型 bangla-smollm-135m，专门为孟加拉语设计。该模型拥有 1.35 亿个参数，通过采用高效的 token 合并策略，在性能上可与更大的模型相媲美。在零样本评估中，它在各种基准测试中达到了与其两倍大小模型相当或更优的性能，并与 10 亿参数模型表现相当。
-
AutoMegaKernel 将 Llama 模型编译为单个 CUDA 核函数
研究人员开发了 AutoMegaKernel (AMK) 系统，该系统将 HuggingFace Llama 系列模型编译成单个、持久的 CUDA 核函数，以实现高效的前向传播。AMK 的静态验证器可确保调度安全，防止死锁和竞用条件。该系统支持从单一代码库支持多种 NVIDIA GPU 架构，并已展示出自我改进能力。
-
Jetson Orin Nano 在不同功耗模式下对8个微型LLM进行基准测试
在Jetson Orin Nano Super 8GB设备上对八个小型语言模型（1.35亿至约10亿参数）进行了基准测试。测试使用了llama.cpp CUDA后端，探索了四种功耗模式（7W、15W、25W、MAXN）。研究结果表明，25W功耗模式在所有测试模型中提供了性能和效率的最佳平衡，在每焦耳生成的令牌数量方面优于15W和MAXN模式。
-
FlashNorm 加速 Transformer 推理，优化归一化层
研究人员开发了 FlashNorm 技术，用于加速 Transformer 模型中的归一化层。通过重构 RMSNorm 并将其权重折叠到后续的线性层中，FlashNorm 实现了归一化和矩阵乘法的并行执行，从而降低了延迟。该方法还可以消除 Gemma 和 DeepSeek-V2 等架构中的预注意力 RMSNorm 层，简化实现并减少参数数量。