实体
Yannis Bendi-Ouis
Yannis Bendi-Ouis
PulseAugur coverage of Yannis Bendi-Ouis — every cluster mentioning Yannis Bendi-Ouis across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
Open-weight LLMs evaluated for scientific paper search performance
一篇新的arXiv论文评估了八种开源大语言模型在科学论文搜索方面的性能,同时考虑了检索成功率和推理延迟。该研究在Mac Studio和NVIDIA A100 GPU上测试了模型,并将输入上下文长度从512个token变化到128k个token。结果表明,检索准确性高度依赖于所选模型和查询的特异性,A100 GPU的性能通常优于Mac Studio,尽管后者的统一内存支持部署更大的模型。
-
Dynamical Memory Transformer 为长序列提供恒定成本注意力
研究人员推出了一种新颖的混合架构 Dynamical Memory Transformer (DMT),旨在改进模型处理长序列的方式。与存储显式历史记录(导致上下文越长计算成本越高)的标准 Transformer 或将过去压缩为固定状态的状态空间模型 (SSM) 不同,DMT 将序列编码与信息检索分开。它采用多个内存单元,每个内存单元由具有输入相关泄漏率的动态系统管理,允许注意力机制读取和组合信息,而无需处理整个 token 历史记录…
-
CogScale基准加速AI序列处理评估
研究人员推出CogScale,一个旨在高效评估AI架构序列处理能力的新基准。该基准包含14个可扩展的合成任务,允许在进行大量训练之前快速验证新设计。使用CogScale进行的初步评估测试了包括GRU、LSTM、Mamba和Transformer变体在内的七种不同架构,涵盖了各种参数预算和难度级别。