实体 K/V-cache

K/V-cache

PulseAugur coverage of K/V-cache — every cluster mentioning K/V-cache across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_247679 · Sep 11 · 04:00

K/V-cache干预在Llama-3.1-8B的个性控制方面显示出混合结果

研究人员探索了K/V-cache干预作为控制仅解码器语言模型中个性表达的方法。他们对Llama-3.1-8B的研究表明，虽然不同模型层中的K/V-cache替换可以实现强大的表示对齐，但只有中层替换才能有效地将此与实质性的目标标记表达和保留的词汇多样性结合起来。研究还发现，位置扰动会均匀地抑制目标个性的表达，这表明仅表示层面的相似性不足以预测下游的个性表达。