SmolLM2-135M
PulseAugur coverage of SmolLM2-135M — every cluster mentioning SmolLM2-135M across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
小型语言模型SmolLM2-135M尽管存在幻觉问题，仍表现出强大的理解能力
一位用户正在手机上测试SmolLM2-135M模型，并观察到一个有趣的失效模式。该模型能正确理解问题，并以正确的答案开头，但随后会对其余响应产生幻觉。尽管模型只有1.35亿参数，但它展现出了强大的语言理解能力。
-
研究论文提出使用合成数据验证来防止模型坍塌
一篇新的研究论文探讨了“模型坍塌”现象，即生成模型在自身合成数据上训练时，性能会随时间下降。研究提出，引入外部合成数据验证器（无论是人类还是其他模型）可以防止这种坍塌。对线性回归、带有MNIST的变分自编码器（VAE）以及在XSum上微调SmolLM2-135M的理论分析和实验表明，虽然验证器引导的再训练可以提供初步改进，但如果验证器不完全准确，最终可能导致性能停滞或逆转。
-
新研究详述在单 GPU 上训练的小型语言模型
研究人员详细介绍了一种使用显著更少计算资源（具体来说是在单个 NVIDIA L20 GPU 上）训练小型语言模型 L20-Edu-135M 的方法。该研究侧重于数据效率，预训练使用了约 130 亿个 token，这仅占同类模型通常使用的 token 数量的一小部分。虽然所得模型并未超越 SmolLM-135M 等现有的最先进的小型模型，但其性能优于较旧的公开基线模型，并为资源受限的语言模型开发提供了一个可审计的案例研究。
-
LLM教程解释基础模型、指令模型和对话模型的区别
一个教程演示了大型语言模型中基础模型、指令模型和对话模型之间的区别。它使用了SmolLM2-135M系列，可以在Google Colab上运行而无需GPU，来说明模型如何从基本的文本补全演变为有用的助手。教程强调，基础模型预测下一个token，指令模型在指令-响应对上进行了微调，需要特定的格式，而对话模型则建立在指令模型之上，增加了对话记忆。
-
紧凑型孟加拉语大语言模型以高效设计超越大型模型
研究人员开发了一种新的紧凑型语言模型 bangla-smollm-135m，专门为孟加拉语设计。该模型拥有 1.35 亿个参数，通过采用高效的 token 合并策略，在性能上可与更大的模型相媲美。在零样本评估中，它在各种基准测试中达到了与其两倍大小模型相当或更优的性能，并与 10 亿参数模型表现相当。
-
AutoMegaKernel 将 Llama 模型编译为单个 CUDA 核函数
研究人员开发了 AutoMegaKernel (AMK) 系统，该系统将 HuggingFace Llama 系列模型编译成单个、持久的 CUDA 核函数，以实现高效的前向传播。AMK 的静态验证器可确保调度安全，防止死锁和竞用条件。该系统支持从单一代码库支持多种 NVIDIA GPU 架构，并已展示出自我改进能力。
-
Jetson Orin Nano 在不同功耗模式下对8个微型LLM进行基准测试
在Jetson Orin Nano Super 8GB设备上对八个小型语言模型（1.35亿至约10亿参数）进行了基准测试。测试使用了llama.cpp CUDA后端，探索了四种功耗模式（7W、15W、25W、MAXN）。研究结果表明，25W功耗模式在所有测试模型中提供了性能和效率的最佳平衡，在每焦耳生成的令牌数量方面优于15W和MAXN模式。
-
FlashNorm 加速 Transformer 推理，优化归一化层
研究人员开发了 FlashNorm 技术，用于加速 Transformer 模型中的归一化层。通过重构 RMSNorm 并将其权重折叠到后续的线性层中，FlashNorm 实现了归一化和矩阵乘法的并行执行，从而降低了延迟。该方法还可以消除 Gemma 和 DeepSeek-V2 等架构中的预注意力 RMSNorm 层，简化实现并减少参数数量。