Esteban Garces Arias
PulseAugur coverage of Esteban Garces Arias — every cluster mentioning Esteban Garces Arias across labs, papers, and developer communities, ranked by signal.
-
新的方差校准调制技术改进了LLM生成
研究人员开发了一种新颖的技术——方差校准调制（VCM），以提高大型语言模型（LLM）在开放式生成中的性能。VCM解决了LLM陷入“似然陷阱”的常见问题，该问题会导致输出重复且乏味。通过在解码前动态重塑概率分布，VCM提高了token的多样性和连贯性，尤其是在较高温度下，且计算成本没有显著增加。该方法与现有的解码策略无缝集成，并在包括事实问答和数学推理在内的各种任务中显示出持续的改进。
-
研究发现：AI模型系统性地排除类人令牌选择
一篇新研究论文《截断盲点》（The Truncation Blind Spot）发布在arXiv上，揭示了文本生成模型中使用的标准解码策略系统性地排除了类人令牌选择。这些策略，包括top-k、nucleus sampling和contrastive search，倾向于选择统计上更可能的令牌，从而忽略了人类自然使用的、在上下文中恰当但较少见的词语。这种被称为“截断盲点”的现象，在来自GPT-3.5 Turbo和Claude 3 Hai…
-
AI流程自动化古籍楔形文字符号检测
研究人员开发了一种新的端到端楔形文字OCR流程，利用Deformable Detection Transformer (DETR)模型来自动化古籍符号检测。该系统集成了 the tablet-side extraction、line grouping 和 textual similarity evaluation，与以往的方法相比取得了显著改进。该流程应用于大量的 the tablet fragments 语料库，生成了数百万个符号检…
-
新的VCM技术可解决LLM重复和呆板问题
研究人员推出了一种名为方差校准调制（VCM）的新颖技术，旨在提高大型语言模型（LLM）的开放式生成能力。VCM解决了LLM常陷入“似然陷阱”的问题，该问题会导致生成重复且呆板的文本。该方法采用两种动态机制：通过PMI的上下文搜索灯来增强相关标记并抑制全局停用词，以及基于实时logit标准差的自适应自偏差以实现尺度不变惩罚。VCM在开放式生成、事实问答和数学推理等各种任务中进行了测试，在计算开销极小的情况下，始终提高了多样性、连贯性和推理准确性。
-
深度学习框架分析罗曼语族语法性别转变
研究人员开发了一个可解释的深度学习框架，用于研究从拉丁语到奥克西唐语的语法性别演变。该研究通过提出一种新颖的分词器来解决低资源历史语言学的挑战，并分析了形态特征和词性类别对性别预测的贡献。研究结果阐明了性别信息如何在词形和句子语境之间分布。
-
新研究定义了大型语言模型中的“超拟合”，区别于温度缩放
一篇新的研究论文引入了“超拟合”的概念，即在小型数据集上微调大型语言模型可以出人意料地提高生成质量并减少重复。研究表明，这种效应与简单的温度缩放不同，并且涉及最后一个 Transformer 块内动态的、依赖于上下文的秩重排机制。研究人员还提出了“后期 LoRA”，一种仅针对最后五层进行微调的方法，以用更少的参数更新实现稳健的生成。
-
新的RDDG框架使用贝叶斯校准进行稀有关系数据合成
研究人员推出RDDG，一个旨在为不平衡数据集生成合成表格数据的新框架。该方法利用上下文学习和渐进式思维链过程来识别核心数据样本中的模式和相关性。RDDG的一个关键创新是其自增强反馈机制，该机制在整个合成过程中不断优化生成数据的质量。实验表明，RDDG在数据保真度和下游不平衡分类性能方面均优于现有方法。