实体
Pythia-160M
Pythia-160M
PulseAugur coverage of Pythia-160M — every cluster mentioning Pythia-160M across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
最近 · 第 1/1 页 · 共 2 条
-
DB-KSVD算法为解耦高维嵌入空间提供了可扩展的方法
研究人员推出了一种新颖的字典学习算法DB-KSVD，旨在解耦大型Transformer模型中的高维嵌入空间。该方法将经典的KSVD算法改编为可高效扩展以处理数百万样本和数千个维度。在Gemma-2-2B和Pythia-160M模型的文本嵌入以及DINOv2模型的图像嵌入上，DB-KSVD的性能与稀疏自编码器相比具有竞争力，这表明传统的优化方法可以有效地扩展以用于可解释性任务。
-
AI安全研究提出计算基底的正式框架
这一系列帖子探讨了AI中的“基底”（substrates）概念，指的是实现AI系统所需的计算上下文层。作者认为，当前AI安全研究缺乏一个清晰的框架来推理这些基底，包括归一化技术和量化格式等元素。通过将基底的定义形式化为四个组成部分——语言、语义映射、资源配置和可观察接口——他们旨在提供一种更清晰的方式来分析和比较不同部署环境中AI模型的行为。