实体
Kullback--Leibler (KL) divergence
Kullback--Leibler (KL) divergence
PulseAugur coverage of Kullback--Leibler (KL) divergence — every cluster mentioning Kullback--Leibler (KL) divergence across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的FORE方法改进了离线强化学习评估
研究人员引入了拟合占用率评估（FORE），一种用于离线强化学习中估计占用率的新颖方法。该技术通过伴随贝尔曼递归来表征折扣占用率，并在每次迭代中解决密度比目标。FORE的关键创新在于其简化的近似条件，仅需要折扣占用率本身的实现性，而不是像贝尔曼完备性那样更复杂的条件。这种方法能够直接进行价值估计和双重鲁棒估计，为离线策略评估提供了更鲁棒的方法。
-
新研究探索用于大型语言模型的混合和稀疏注意力机制
研究人员正在探索优化大型语言模型中注意力机制的新方法，特别是用于处理长上下文。例如，HydraHead架构沿头轴混合了全注意力（FA）和线性注意力（LA），识别关键的FA头并协调分布差异。另外，StreamKL提供了一种快速且内存高效的方法来计算注意力蒸馏的Kullback-Leibler散度，减少了HBM占用空间，并支持在单个GPU上进行长上下文蒸馏。其他研究包括基于域分解的分层注意力和距离自适应表示，后者为远距离标记分配较低的维度…