实体
decoder layers
decoder layers
PulseAugur coverage of decoder layers — every cluster mentioning decoder layers across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
MARS框架利用多模态大语言模型改进文本-视频检索
研究人员开发了MARS，一个旨在通过利用多模态大语言模型的多个层和自适应表示槽来增强文本-视频检索的新型框架。与通常将各种线索压缩到单个向量中的现有方法不同，MARS通过组合来自不同解码器层的隐藏状态来构建多个槽。这种方法允许更细致地比较文本和视频元素，实验证明在多个基准测试中取得了最先进的结果。该框架进一步纳入了一个硬负例感知的槽专业化目标，以改进判别性匹配线索的捕获，从而在直接基于相似度的检索和重排方面都取得了显著的收益。
-
GPT-2 解码器机制：深入解析下一个词的预测
本文提供了一个关于 GPT-2 解码器模型如何预测下一个词的详细分步解释。它追踪单个向量在模型层中的旅程，说明了每一次矩阵乘法和参数计数。解释强调，解码器层是在原地重写固定宽度的向量，而不是压缩或替换 token，最终产生下一个词的概率分布。