实体
OLMo2-7B
OLMo2-7B
PulseAugur coverage of OLMo2-7B — every cluster mentioning OLMo2-7B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新研究揭示LLM如何产生有害意图，并引入“Herald”审核器
研究人员发现了一种“有害性传播动力学”（HPD）现象，即有害意图在大型语言模型中的表示随着模型深度的增加而增加。这表明有害性是一种逐步解决的语义属性，其完整意图在模型的后期层中得到巩固。为了解决这个问题，开发了一种名为“Herald”的轻量级输入审核器。Herald从跨层投影序列中提取特征来对有害提示进行分类，实现了高准确率，并提供了模型内部有害性如何产生的可解释审计跟踪。
-
新研究解决了 Transformer 中注意力机制的局限性
研究人员正在探索新颖的方法来提高 Transformer 中注意力机制的效率和有效性。几篇论文介绍了缓解过平滑和计算瓶颈问题的方法，特别是在图 Transformer 和大型语言模型中。技术包括容量控制的注意力门控、分析注意力汇聚点以区分自适应无操作和广播机制，以及为超长上下文开发稀疏注意力策略。这些进展旨在提高模型在各种基准上的性能，同时降低计算成本。