PulseAugur
中
实时 09:02:04
实体 Huginn

Huginn

PulseAugur coverage of Huginn — every cluster mentioning Huginn across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
6
90 天内 7
发布 · 30天
0
90 天内 0
论文 · 30天
5
90 天内 5
层级分布 · 90 天
主题
情绪 · 30 天

3 天有情绪数据

最近 · 第 1/1 页 · 共 7 条
  1. TOOL · CL_342492 ·

    分析循环Transformer在Nvidia B200上的HBM流量节省情况

    一项最新分析探讨了循环Transformer架构(特别是Huginn模型)在Nvidia B200硬件上管理高带宽内存(HBM)流量的效率。研究发现,尽管跨迭代共享权重可以节省存储空间,但它并不能阻止GPU在每个周期中重新读取HBM中的这些权重。当权重小于L2缓存大小时观察到了性能提升,但当权重超过L2缓存大小时,性能提升则减弱。研究表明,在迭代过程中将循环权重保留在芯片上可能需要专门的持久性内核实现。

  2. TOOL · CL_347833 ·

    LoopVQ量化方法将循环Transformer的KV缓存内存减半

    研究人员开发了LoopVQ,一种用于循环Transformer中键值(KV)缓存的新型量化方法。这种跨多个步骤重用层的架构由于其KV缓存大小而面临内存瓶颈。LoopVQ通过联合编码来自多个循环步骤的通道并微调码本来解决这个问题,实现了显著的内存减少和性能提升。当在SGLang中使用Ouro和Huginn模型实现时,LoopVQ几乎将解码延迟减半,并大幅提高了峰值服务吞吐量。

  3. TOOL · CL_342743 ·

    LoopVQ 方法大幅削减循环 Transformer 的 KV 缓存内存

    研究人员开发了 LoopVQ,一种新颖的向量量化方法,旨在显著减少循环 Transformer 中键值(KV)缓存的内存占用。该技术利用了跨循环步骤的冗余,联合量化多个步骤的通道并微调码本以获得最佳性能。LoopVQ 在 Ouro 和 Huginn 等模型上实现了可观的压缩率,接近近 BF16 精度,并展示了服务吞吐量的显著提升。

  4. RESEARCH · CL_332887 ·

    新研究探索用于高效AI模型扩展的Looped Transformers

    研究人员正在探索Looped Transformers的进展,这是一种模型架构,可以在参数不成比例增加的情况下增加计算深度。几篇论文介绍了这些模型的新方法和分析,重点是提高稳定性、泛化能力和效率。诸如“内部记忆”(internal recall)、「Loopback Transformer」、「深度最优」(Best-of-Depth, BoD)和「UpLoop」等技术旨在优化共享块的应用方式以及它们之间的信息传递方式,从而在代码生成和…

  5. RESEARCH · CL_307987 ·

    新的循环模型架构提升了推理和效率

    研究人员开发了一种新的循环语言模型架构,该架构跨越逻辑深度重用 Transformer 块,提高了上下文提取和推理任务的性能。这种“序曲-循环块-尾声三明治”设计,以 Huginn 模型为例,显示出其优势可以迁移到专家混合(MoE)模型。与传统的前馈 MoE 模型相比,Huginn 式设计在参数效率方面更高,在多个基准测试中表现优于它们,同时在其他基准测试中保持了有竞争力的结果。

  6. RESEARCH · CL_271249 ·

    新研究探索Transformer模型的效率和稳定性

    研究人员正在探索新的方法来提高Transformer模型的效率和性能,特别是那些采用循环的Transformer模型。其中一种方法LoopCD提供了一个无需训练的框架,通过对比最终预测与早期循环传递来提高解码质量,在代码生成和推理等任务中取得了显著的进步。另一个研究领域侧重于理解和稳定深度图Transformer,分析其动力学系统以防止表示崩溃并改进图生成。此外,研究正在调查循环Transformer如何在共享权重中路由计算,表明中间…

  7. TOOL · CL_151232 ·

    Huginn 提供 AI 代理监控和管理控制台

    Huginn 是一款新工具,提供了一个用于监控和管理 AI 代理活动的控制台界面。它为用户提供了一个集中的仪表板,用于观察这些代理的操作和交互。