研究人员开发了一种新颖的方法,通过使用受扩散启发的重构技术来改进预训练Transformer的不确定性校准。该技术将每个特征转换块建模为概率映射,创建了一个模仿扩散过程的概率路径。通过使用统一的过渡模型重新编译此路径,该方法能够在保持预测性能的同时,原则性地传播表示不确定性。在视觉和语言基准测试中的实验表明,这种方法优于现有的不确定性感知Transformer。 AI
影响 这项研究通过提高Transformer模型的可信度,有望在关键应用中实现更可靠的AI系统。
排序理由 该集群包含一篇详细介绍Transformer模型新改进方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- CORE Recommender
- DagsHub
- Diffusion-Inspired Reconfiguration of Transformers for Uncertainty Calibration
- Gotit.pub
- Hugging Face
- IArxiv Recommender
- Manh Cuong Dao
- ScienceCast
- transformers
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →