实体 Waïss Azizian

Waïss Azizian

PulseAugur coverage of Waïss Azizian — every cluster mentioning Waïss Azizian across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_109881 · Jun 25 · 04:00

研究发现预训练数据分布塑造LLM上下文学习

一个新的理论框架和实证研究探讨了预训练数据的统计特性如何影响大型语言模型（LLM）的上下文学习（ICL）。研究人员发现，尽管重尾预训练分布在分布变化下有利于任务选择，但它会阻碍泛化能力，尤其是在数据稀疏的情况下。该研究表明，控制这些统计特性对于开发具有强大ICL能力且可靠的LLM至关重要。