PulseAugur
中
实时 06:23:06
实体 BLT

BLT

PulseAugur coverage of BLT — every cluster mentioning BLT across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 4 条
  1. TOOL · CL_289485 ·

    新方法改进了Byte Latent Transformer的数学问题解决能力

    研究人员发现Byte Latent Transformer (BLT) 模型在依赖预测下一个字节的熵的补丁起始策略方面存在局限性。该方法忽略了类型可预测但需要计算的位置,例如数学问题中等号后的数字。一种新的方法,边界依赖性,通过衡量移除补丁起始时模型的损失增加来证明更有效。当与熵结合时,该方法显著提高了计算结果的准确性,尤其是在更大的模型规模下,其表现优于原始熵规则和随机scratchpad。

  2. RESEARCH · CL_294497 ·

    新研究探讨 LLM 和 Vision Transformer 压缩技术 · 已追踪 10 个来源

    多篇研究论文探索了压缩大型语言模型 (LLM) 和 Vision Transformer (ViT) 的新颖方法,以降低计算成本并提高效率。技术包括使用数据驱动方法 (SoCo) 优化奇异谱、利用表示质量进行泛化边界约束,以及采用基于 LZ77 压缩的新颖性修补。其他方法侧重于语义可变分辨率分词、重建引导分词凝结以及 ViT 的无训练剪枝和合并策略。此外,研究还探讨了用于快速生成图像和视频压缩的 Hadamard 码本。

  3. TOOL · CL_185464 ·

    BIM原生标记化增强房间布局合成

    研究人员开发了一种新颖的BIM原生标记化方法,用于在建筑信息模型(BIM)场景中合成房间布局。该方法将每个房间编码为一系列BIM-Token Bundles,将分类和连续属性统一为单个标记向量。与现有基线相比,在受控基准测试中,以编码器专用和编码器-解码器模式训练的Transformer模型表现出优越的性能,突显了领域特定模型在约束感知空间生成方面的有效性。

  4. TOOL · CL_15851 ·

    新研究表明,为实现最优计算,模型规模应与数据字节而非 token 数量成比例增长

    一篇新论文探讨了 token 粒度对语言模型缩放定律的影响。研究人员训练了 988 个具有不同参数数量和压缩率的模型,以研究分词如何影响计算效率。研究发现,模型参数应与数据字节大小成比例增长,而非 token 数量,并且最优压缩率随计算量而降低,为开发者提供了指导。