PulseAugur
中
实时 05:28:59
实体 SmolLM-135M-Instruct

SmolLM-135M-Instruct

PulseAugur coverage of SmolLM-135M-Instruct — every cluster mentioning SmolLM-135M-Instruct across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 3 条
  1. TOOL · CL_361613 ·

    新的 W-ISA 系统可在语言模型中实现可复现的权重空间介入

    研究人员推出 W-ISA,这是一个新的软件指令集和运行时,专为在预训练语言模型上执行权重空间介入程序而设计。该系统允许在隔离的执行上下文中进行精确的参数更新、投影和消融,确保更改被包含并且原始模型状态得以恢复。在 SmolLM-135M-Instruct 和 Qwen2.5-1.5B-Instruct 等模型上的评估表明,W-ISA 可以准确地复制介入效果,并提供一种可复现、可组合的方法来进行参数级实验。

  2. RESEARCH · CL_337869 ·

    大型语言模型学会直接读写神经网络权重

    研究人员正在探索“权重空间编程”(WSP)这一新技术,大型语言模型(LLMs)可以直接读取、诊断和修改神经网络的原始数值权重。该方法绕过了传统的基于梯度的优化方法和外部训练循环,有可能实现更快的递归自我改进。研究表明,LLMs可以执行局部算术运算,识别网络功能,甚至通过最少的参数编辑显著提高性能,尽管其可靠性和泛化能力仍是积极研究的领域。

  3. TOOL · CL_67340 ·

    开发者训练出拥有7500万参数的大型语言模型,性能超越更大模型

    一位开发者从头开始训练了一个名为KeyLM的7500万参数语言模型,并使用了180亿个token进行预训练。KeyLM的指令调优版本在IFEval基准测试中表现优于SmolLM-135M-Instruct,尽管其参数量和训练数据量都显著少于后者。虽然KeyLM在指令遵循方面表现出色,但在其他基准测试中,其表现与其规模相符,并且在知识类任务中存在频繁幻觉的问题。