实体
Scratchpad Patching
Scratchpad Patching
PulseAugur coverage of Scratchpad Patching — every cluster mentioning Scratchpad Patching across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新方法改进了Byte Latent Transformer的数学问题解决能力
研究人员发现Byte Latent Transformer (BLT) 模型在依赖预测下一个字节的熵的补丁起始策略方面存在局限性。该方法忽略了类型可预测但需要计算的位置，例如数学问题中等号后的数字。一种新的方法，边界依赖性，通过衡量移除补丁起始时模型的损失增加来证明更有效。当与熵结合时，该方法显著提高了计算结果的准确性，尤其是在更大的模型规模下，其表现优于原始熵规则和随机scratchpad。
-
Scratchpad Patching 提升了字节级语言模型的效率
研究人员开发了一种名为 Scratchpad Patching (SP) 的新技术，以提高字节级语言模型的效率和质量。该方法通过在块内引入瞬态暂存器来解决块大小和建模质量之间的权衡问题。这些暂存器动态聚合字节上下文，从而能够进行更准确的预测，并减少即使在较小的块大小下，KV 缓存占用和推理计算。