PulseAugur
中
实时 10:40:42
English(EN) MACRO: Markov Chain Routing of Transformer Layers

MACRO框架在不改变权重的情况下优化LLM层路由

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出MACRO，一个用于优化大型语言模型中Transformer层执行的新框架。MACRO能够在不改变模型权重的情况下实现动态层路由，将路由过程建模为依赖于上下文的马尔可夫策略。该方法支持跳过、重复和残差连接等操作，并通过训练反馈进行更新。评估显示，MACRO在各种基准测试中的准确性平均提高了5.0%，优于Dr. LLM等现有动态路由方法，并显著减少了路由搜索时间。 AI

影响 这项研究可能通过优化层执行而不需重新训练模型，从而实现更高效的LLM推理。

排序理由 该集群描述了一篇关于优化LLM层路由的新颖框架的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

MACRO框架在不改变权重的情况下优化LLM层路由

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Pawe{\l} Batorski, Abtin Pourhadi, Akylgali Aitaza, Przemys{\l}aw Spurek, Paul Swoboda ·

    MACRO: Transformer层马尔可夫链路由

    arXiv:2608.05872v1 Announce Type: cross Abstract: Standard Large Language Models (LLMs) execute layers sequentially. Dynamic layer routing, i.e. search for a different execution path through layers involving layer repetitions, skips and other moves, can improve performance. Exist…

相关实体

相关话题