PulseAugur
中
实时 20:08:00
实体 Titan-Llama

Titan-Llama

PulseAugur coverage of Titan-Llama — every cluster mentioning Titan-Llama across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_310078 ·

    混合LLM遭受“竞争性学习”困扰;分阶段训练提供解决方案

    研究人员在混合语言模型中发现了一种称为“竞争性学习”的现象,其中循环层和注意力层会相互干扰学习过程。他们发现循环层通常能更快地学习检索功能,从而抑制了注意力层的学习能力。为解决此问题,研究人员提出了一种分阶段训练程序,包括在训练过程中停止循环层的权重更新。该方法在多达10亿参数的模型上,显著提高了语言建模、常识推理和检索任务的性能。

  2. RESEARCH · CL_295606 ·

    通过量化、内存、并行和调度探索 LLM 推理效率

    研究人员正在探索各种方法来提高大型语言模型 (LLM) 推理的效率和可扩展性。一种方法侧重于通过量化技术实现能源效率,在精度损失极小的情况下展示出显著的节能效果,尤其是在融合内核实现中。另一个研究领域涉及为 LLM 加装外部内存模块,以更有效地处理长上下文,提高准确性并减少内存使用。此外,研究正在调查并行策略,例如张量并行和流水线并行,以优化分布式 LLM 服务系统的吞吐量和延迟权衡。最后,正在为无服务器 LLM 推理开发新颖的调度框…