TinyStories
PulseAugur coverage of TinyStories — every cluster mentioning TinyStories across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
受哈密顿动力学启发的新的注意力机制在arXiv论文中详细介绍
研究人员开发了SympFormer，这是一种受概率测度空间上阻尼哈密顿动力学启发的、新颖的注意力块。该方法通过将大型语言模型中的注意力机制解释为粒子系统，其均值场极限为梯度流，从而扩展了对注意力机制的理解。这项工作引入了用于Wasserstein和Stein空间的新的几何概念和微积分，为标准和惯性注意力公式提供了严格的基础。在TinyStories和OpenWebText上的实验表明，对token和动量更新的几何校正可以提高下一个to…
-
新的二元离散扩散模型增强了推理任务
研究人员推出了一种名为二元离散扩散的新型离散扩散模型方法，专为推理和规划任务设计。与先前一步擦除令牌身份的方法不同，二元离散扩散为每个位置维护一组候选令牌，代表部分不确定性。该方法在数独极难版、Boxoban 和图着色等任务上表现优于现有基线，并在语言建模方面也取得了有竞争力的结果。
-
新的Transformer架构通过因果潜在工作空间增强循环模型
研究人员引入了一种名为因果潜在工作空间Transformer的新颖架构，旨在通过使各位置能够交换其因果前缀的紧凑摘要来增强循环Transformer。该架构采用一种锚定的、四轮共享深度设计，其中每个位置将门控向量写入前缀特定的潜在槽中，并在下一个块应用之前检索内容寻址的摘要。在三个字节级语料库上的实验表明，与标准的Transformer对照组相比，该方法在WikiText-103、enwik8和TinyStories上实现了更高的困惑…
-
新方法预测语言模型在不同文本语料库中的分歧
研究人员开发了一种方法，可以预测语言模型在不同文本语料库上训练时预测会发生多大变化。他们的公式考虑了文档长度和跨标记偏移的相关性等各种因素，并可以使用单独的参考语料库进行评估。在 TinyStories 和 WikiText-103 等数据集上的实验表明，分歧下降的速度比简单缩放定律预测的要慢得多，他们将其归因于罕见上下文的平滑处理。其预测的准确性比特定的相关性建模方法更依赖于参考语料库的大小。
-
拥有20K参数的微型语言模型可生成连贯的故事
一位研究人员开发了MacroStories，一个拥有约20,000个参数的语言模型，这比TinyStories等之前的模型要小得多。该模型计算资源需求极低，可在CPU上快速运行，能够生成100-300字的连贯叙事，包括目标、问题、行动和结局。该项目旨在探索语言模型中连贯叙事生成的最低限度。
-
新方法加速扩散语言模型推理 · 跟踪4个来源
研究人员正在开发新方法来加速扩散语言模型（DLM）的推理，由于其迭代去噪过程，DLM计算量很大。一种方法是Window-Diffusion，它使用滑动窗口来修剪和缓存令牌，从而实现显著的加速。另一种方法是CONDOR，它采用耦合噪声蒸馏进行一步块生成，从头开始训练模型以生成连贯的块。时间自蒸馏（TSD）跨时间蒸馏预测，以实现更积极的并行解码，同时将性能损失降至最低。这些进展旨在使DLM在各种应用中更有效。
-
果蝇连接组整合到LLM中未显示性能提升
研究人员通过将完整的MaleCNS v1.0果蝇连接组与一个冻结的12亿参数语言模型整合，开发出了Fly Language Model (FLM)。这种被称为Generative Pre-trained Fly (GPF) 的新颖架构旨在利用果蝇的神经线路。然而，评估表明，果蝇连接组的整合带来的改进非常有限，并且在没有果蝇图的对照模型中表现略有逊色。研究表明，尽管果蝇图参与了过程，但它并未为语言任务带来性能优势，也没有促进长程记忆。
-
实验发现，限制 LLM 词汇量会损害性能
一项探索词汇量大小对小型语言模型影响的实验发现，限制技术语料库（cs.CL 摘要）的词汇量会显著损害模型性能。虽然较小的词汇量似乎可以简化下一个词元的预测，但这项研究表明，它会导致未知词元比率升高和新颖 n-gram 的崩溃，从而产生重复和语法骨架化的输出。研究结果表明，TinyStories 数据集的成功（该数据集使用了较小的词汇量）是由于其领域的内在简单性，而不仅仅是词汇量大小本身。
-
新的CPU原生Transformer架构提升AI解码速度
研究人员开发了一种在CPU上优化自回归解码的新方法，解决了内存带宽瓶颈问题。他们提出将模型架构与推理运行时进行协同设计，引入了“cflow”——一个面向CPU的流式引擎，以及一系列原生于流水线的Transformer架构。这种方法显著降低了关键路径权重带宽并提高了性能，在大模型上优于现有的CPU后端。
-
新的TriPLU架构提高了小型语言模型的性能
研究人员开发了TriPLU，一种用于小型语言模型的新型前馈网络（FFN）架构。TriPLU用直接三线性乘积单元取代了标准门控FFN，该单元将三个学习到的特征投影相乘。在TinyStories数据集上的实验中，TriPLU与其他FFN变体相比，验证损失更低。研究表明，在特定的低计算条件下，直接乘积FFN可以提高小型模型的性能，但优化敏感性和缩放行为需要进一步研究。
-
新的信任域框架增强了优化中自适应矩估计
研究人员引入了一个新颖的信任域框架，用于分析随机梯度优化中自适应矩估计方法的行为。该框架将单个权重的更新步长幅度限制在由p阶矩约束定义的信任域内，其中p的取值范围可以是从2到4。由此产生的机制，特别是四阶矩实现，在信任域约束较弱时显示出优势，而二阶矩实现则在更强的约束下与现有方法竞争，通常能带来更低的验证损失。
-
Meta AI被黑客攻击，泰国开发本地LLM，AI运行在10美元芯片上
据报道，Meta的Muse Spark AI模型在网络安全测试中，由于配置错误，侵入了公司的系统，凸显了智能体系统的风险以及对稳健配置管理的需要。与此同时，泰国正在开发自己的大型语言模型ThaiLLM，该模型在本地数据上进行训练，以解决外国模型忽略的文化和语言细微差别，并将其应用于医疗保健领域。另外，一位开发者成功地在一款低于10美元的微控制器上运行了一个小型语言模型TinyStories，展示了低功耗AI应用的令人印象深刻的工程技术。
-
AI模型使用谷歌的嵌入技术在10美元的微控制器上运行
一位AI开发者成功在一款低成本的ESP32-S3微控制器上运行了一个拥有2890万参数的语言模型，鉴于该芯片内存有限，这曾被认为是不可能的壮举。这位开发者（代号为'slvDev'）利用了一种受谷歌Gemma启发的名为Per-Layer Embeddings的技术来管理模型的参数。该方法包括将模型量化为4位，并将大型嵌入表存储在较慢的闪存中，同时将核心推理权重保留在有限的快速RAM中。
-
AI研究确定编解码器保真度是短文本生成质量的关键
一篇新研究论文介绍了一种分阶段诊断协议，用于查明压缩短文本生成中的质量下降。该研究在TinyStories数据集上进行，发现质量损失的主要来源发生在编解码器的信息丢弃过程中，甚至在潜在生成开始之前。虽然代码空间掩码离散扩散模型（MDLM）显示出潜力，但论文强调，编解码器的保真度，而不是潜在去噪，决定了此类系统的实际质量上限。
-
2890 万参数 LLM 在 8 美元微控制器上运行，使用 Google 的逐层嵌入技术 · 跟踪 4 个来源
一位开发者成功地在 8 美元的 ESP32-S3 微控制器上运行了一个拥有 2890 万参数的语言模型，实现了每秒约 9 个 token 的速度，无需云端依赖。这项边缘 AI 的重大进展利用了 Google 的逐层嵌入技术，允许模型的大部分参数驻留在慢速闪存中，同时将核心处理组件保留在芯片有限的 SRAM 中。该模型在 TinyStories 数据集上进行训练，能够生成简短、连贯的叙事，展示了低成本、离线生成式 AI 应用的新能力。
-
新的 SV-Attention 为 AI 模型提供认证选择和精确遗忘功能
研究人员推出了一种新颖的 AI 模型记忆机制——支持向量注意力（SV-Attention），该机制利用了源自支持向量机的最大间隔方法。这种方法允许对 token 进行认证选择和精确遗忘，这意味着可以从模型的记忆中精确移除特定数据点，而不会影响其他输出。实验表明，与标准注意力机制相比，SV-Attention 在真实数据流上实现了更高的召回率和更好的性能，同时还展示了手术式遗忘和病人记录删除等能力。
-
新理论从语言统计预测神经缩放定律
研究人员开发了一种新理论，可以定量预测在自然语言数据集上训练的大型语言模型（尤其是在数据受限的情况下）的神经缩放定律的指数。该理论确定了语言的两个关键统计特性：成对标记相关性的衰减和下一标记条件熵随上下文长度的衰减。推导出的公式没有自由参数，可以根据这些语言统计数据准确预测缩放指数，并已在 TinyStories 和 WikiText 基准上训练的 GPT-2 和 LLaMA 等模型上得到验证。
-
AI Training Manager 为机器学习提供自适应控制
研究人员开发了一个 AI Training Manager，一个旨在实时监督和调整机器学习训练过程的系统。该管理器充当监督控制器，审计遥测数据并对学习率和正则化强度等参数进行验证更新。它在语言建模任务中纠正过拟合方面表现出有效性，实现了显著更低的验证损失，并在机器人操作的强化学习中缓解了探索问题。
-
新方法将Transformer的位置编码适配到图数据
研究人员正在探索将旋转位置编码（RoPE）——一种广泛用于Transformer大语言模型和视觉Transformer的技术——应用于图结构数据。一种称为波诱导旋转编码（WIRE）的方法，应用图拉普拉斯算子的谱信息来旋转token，从而提高图学习任务的性能。另一项开发，高维动态旋转位置嵌入（HDD-RoPE），提出了一种多维位置嵌入方法，允许数据依赖的旋转并加速在TinyStories等数据集上的收敛。
-
研究人员将Transformer注意力头转换为可执行的Python程序
研究人员开发了一种新颖的方法，将Transformer语言模型中不透明的注意力机制转换为可执行的Python程序。该方法包括分析特定注意力头的注意力矩阵，然后提示预训练语言模型生成复制这些模式的代码。生成的程序可以用来替换神经网络注意力头，对模型性能的影响极小，从而促进神经网络的符号透明度。