PulseAugur
中
实时 21:58:44
实体 logarithmic loss

logarithmic loss

PulseAugur coverage of logarithmic loss — every cluster mentioning logarithmic loss across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
4
90 天内 11
发布 · 30天
0
90 天内 0
论文 · 30天
4
90 天内 11
层级分布 · 90 天
主题
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 12 条
  1. TOOL · CL_366260 ·

    基于GAN的方法改进了CTPA扫描的PE边界提取

    研究人员开发了一种新颖的基于生成对抗网络(GANs)的半监督分割方法,以改进从CTPA扫描中提取肺栓塞(PE)边界。该方法利用大量未标记的扫描数据集来提高准确性,解决了临床环境中手动解释的挑战。该方法结合了多种损失函数,包括Dice损失、交叉熵损失、特征匹配损失和自训练损失,以处理数据不平衡并生成解剖学上合理的分割图。实验结果表明,与全监督方法相比,该方法表现更优,Dice系数达到88.75%,Hausdorff距离为1.74。

  2. RESEARCH · CL_324338 ·

    新框架CoCHI通过干预模型内部来解决大型语言模型的过度自信问题

    一项新的研究论文介绍了一个名为CoCHI的框架,旨在解决大型语言模型(LLMs)中的过度自信错误。与现有事后调整输出的方法不同,CoCHI通过干预模型的内部组件来纠正校准失误。通过分析正确性-置信度模式,CoCHI针对特定的内部结构,在保留准确预测的同时减少了错误的高置信度预测。实验表明,在各种大型语言模型上的校准指标有了显著的改进。

  3. RESEARCH · CL_317427 ·

    研究:性能预测在LLM路由中对次优模型最有效

    一篇新的研究论文探讨了在将查询路由到不同大型语言模型(LLMs)时,性能预测的有效性。研究表明,当候选模型对于给定任务不是最优选择,或者预测器显著增强模型能力时,性能预测最为有益。研究提出,预测器的优势可以转移到模型上,通过重新校准来改善模型的损失。对16个语言模型的实验表明,性能预测带来的收益在模型不是最优时更为显著,并且随着模型微调的进行而降低。

  4. TOOL · CL_294536 ·

    全晶体管物理学习Transformer实现上下文学习

    研究人员开发了一种新颖的全晶体管物理学习Transformer,能够执行上下文学习。这种新设计解决了现有平衡传播系统在处理乘法等复杂非线性运算(注意力机制所需)时的局限性。通过整合额外的电路元件并利用亚阈值MOSFET器件的特性,模拟的Transformer成功学习了上下文任务,即使在梯度信息近似的情况下也是如此。训练过程使用了交叉熵损失和Lion优化器,该优化器每个参数所需的内存极少。

  5. TOOL · CL_204003 ·

    新研究比较了AI分布外检测的训练目标

    一篇新的研究论文系统地比较了图像分类中分布外(OOD)检测的四种训练目标。该研究使用OpenOOD协议和ResNet-18模型评估了交叉熵损失(Cross-Entropy Loss)、原型损失(Prototype Loss)、三元组损失(Triplet Loss)和平均精度(AP)损失。结果表明,虽然交叉熵损失、原型损失和AP损失在分布内准确率方面表现相似,但交叉熵损失通常提供最一致的OOD检测性能。

  6. RESEARCH · CL_187139 ·

    UQ-Loc 方法通过不确定性感知增强激光雷达定位

    研究人员开发了 UQ-Loc,一种不确定性感知的激光雷达场景坐标回归新方法。该方法通过预测每个体素的完整协方差矩阵来扩展现有的 LightLoc 架构,从而量化了偶然不确定性。UQ-Loc 在训练中使用了负对数似然损失和基于 kNN 的正则化器,在推理中使用了修改后的 SC2-PCR 求解器。该系统通过预期的校准误差进行评估,证明了其改进的定位精度和良好校准的不确定性预测。

  7. TOOL · CL_166322 ·

    研究发现 MSE 损失会阻碍神经网络中的叠加

    研究人员已经证明,均方误差(MSE)损失在训练神经网络以在叠加中编码特征方面是无效的,这种技术是指表示的特征多于神经元的数量。这一发现得到了数学分析和实验证据的支持,表明 MSE 损失不会激励网络利用叠加。作者建议在玩具模型或其他应用中以实现叠加为目标时,使用对数损失等替代损失函数。

  8. TOOL · CL_129068 ·

    新方法通过概率不确定性量化增强交通预测

    研究人员开发了一种新颖的方法,可以将现有的确定性交通预测模型转换为概率性模型。该方法仅需将最终输出层替换为高斯混合模型(GMM)层,即可使模型在进行不确定性量化的同时预测交通动态。修改后的模型可以使用负对数似然(NLL)损失进行训练,而无需更改现有的训练流程。在各种数据集上的实验表明,该技术在保持确定性性能的同时,与单峰或确定性基线相比,即使在数据不完美的情况下也能提供更准确和信息量更大的概率预测。

  9. TOOL · CL_74964 ·

    Karpathy 重访 1989 年神经网络,用现代 AI 技术降低错误率

    Andrej Karpathy 重建了一个 1989 年的神经网络,通过应用现代深度学习技术,错误率降低了 60%。他展示了使用交叉熵损失(而非均方误差)、AdamW 优化器以及数据增强(特别是图像移位)等创新方法,显著提高了模型的性能。Karpathy 还表明,即使使用原始的 1989 年方法,仅将数据集大小从 7,291 张图像增加到 50,000 张,也能大幅降低错误率。

  10. TOOL · CL_48874 ·

    新的SFT目标在有能力的LLM上优于NLL

    研究人员探索了大型语言模型监督微调(SFT)的替代目标,超越了标准的负对数似然(NLL)。他们的研究通过在各种模型和基准上进行大量实验,揭示了不同的目标根据模型的性能表现更好。对于能力更强的模型,降低低概率token权重的目标更有效,而对于能力较弱的模型,NLL表现最佳。

  11. RESEARCH · CL_03769 ·

    DeepSeek-V4、LoRA 及其他 LLM 技术在新博客中详述

    Outcome School 上线了一系列六篇博客文章,详细介绍了当代大型语言模型的基本组成部分。这些文章涵盖了 RMSNorm、DeepSeek-V4、LoRA、RoPE、GQA 和交叉熵损失等技术概念。这些解释旨在解读支撑现代人工智能系统的核心构建模块。

  12. RESEARCH · CL_06766 ·

    新框架通过分离层优化深度学习训练

    研究人员引入了一个名为层分离优化(Layer Separation Optimization)的新颖框架,以解决深度学习模型使用交叉熵损失进行训练时面临的挑战。该方法旨在缓解深度网络训练过程中出现的强非凸性问题。通过使用辅助变量将复杂的优化问题分解为更小、更易于管理子问题,该框架在理论上为原始交叉熵损失提供了上限,并在数值实验中展示了改进的优化行为。