实体
Saki
Saki
PulseAugur coverage of Saki — every cluster mentioning Saki across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新方法改进策略内蒸馏以增强人工智能能力 · 跟踪 7 个来源
研究人员正在探索策略内蒸馏（OPD）的高级技术，通过结合多个“教师”模型来增强语言模型的能力。LEGO-OPD 和 SAKI 等新方法侧重于分解和路由教师信号，以在不降低性能的情况下改善视觉基础和推理。SCOUT 和 MAESTRO 等其他方法解决了教师-学生前缀不匹配的挑战，并优化了教师干预策略，以防止性能下降并确保跨不同任务的平衡能力集成。
-
新的SAKI方法优化LLM的KV缓存索引
研究人员开发了SAKI，一种新颖的无需训练的方法，用于优化大型语言模型的KV缓存索引。SAKI直接保留注意力分数，在包括Llama 3.1 8B和Qwen 2.5 7B在内的各种模型上均优于主成分分析（PCA）等现有技术。这种方法显著降低了召回误差，并提高了注意力头的性能，尤其是在模型的更深层。