实体
Tsallis distribution
Tsallis distribution
PulseAugur coverage of Tsallis distribution — every cluster mentioning Tsallis distribution across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新研究致力于稀疏注意力，以实现高效的长上下文大语言模型 · 跟踪 6 个来源
2026 年 8 月发布的多个研究论文探讨了用于大语言模型稀疏注意力机制的新方法，旨在提高效率和长上下文建模能力。这些研究引入了诸如学习到的 Tsallis 指数、具有流式处理能力的在线高效稀疏注意力以及输入自适应稀疏引擎等技术。目标是降低自注意力的二次计算复杂度，使模型能够更有效地处理更长的上下文并加速推理时间，尤其是在视频扩散模型和通用语言任务方面。
-
新的STaR-DRO框架增强了LLM结构化预测的鲁棒性
研究人员开发了STaR-DRO，一个用于改进大型语言模型结构化预测的新框架，特别适用于数据不平衡和不同难度组的任务。该框架结合了模块化提示工程和一种重加权技术，该技术可以上调持续困难的组，而不会惩罚更容易的组。在EPPC Miner任务上的评估表明，当应用于Llama模型时，在零样本提取和鲁棒性方面取得了显著改进，优于标准微调和传统的DRO方法。