实体
Oliver Rheinbach
Oliver Rheinbach
PulseAugur coverage of Oliver Rheinbach — every cluster mentioning Oliver Rheinbach across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新研究探索用于大型语言模型的混合和稀疏注意力机制
研究人员正在探索优化大型语言模型中注意力机制的新方法，特别是用于处理长上下文。例如，HydraHead架构沿头轴混合了全注意力（FA）和线性注意力（LA），识别关键的FA头并协调分布差异。另外，StreamKL提供了一种快速且内存高效的方法来计算注意力蒸馏的Kullback-Leibler散度，减少了HBM占用空间，并支持在单个GPU上进行长上下文蒸馏。其他研究包括基于域分解的分层注意力和距离自适应表示，后者为远距离标记分配较低的维度…
-
机器学习模型从微结构预测材料属性
研究人员开发了一种机器学习模型，用于预测超弹性复合材料的有效属性。这种数据驱动的方法使用在微结构描述符（如形状和相关函数）上训练的神经网络，以绕过复杂的数值均质化过程。研究发现，虽然包含更详细的描述符（如直线路径函数）可以提高采样点的精度，但并不能保证这些点之间的物理一致行为，这表明未来的工作需要关注物理约束模型。