Jaccard
PulseAugur coverage of Jaccard — every cluster mentioning Jaccard across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
新指标CCdim显示精确Jaccard校准的指数维度
研究人员引入了指数凸校准维度（CCdim）来分析多标签分类和二元分割任务的复杂性。该新指标应用于Jaccard分数，揭示了实现精确校准需要指数数量的预测坐标。该研究还提供了多项式维度的近似保证以及一种从F-1代理到Jaccard代理的新颖迁移方法，为管理遗憾提供了实用的替代方案。
-
新AI方法通过近似信度函数来优化决策
研究人员开发了一种新的方法来近似证据组合优化问题中的信度函数。这种方法侧重于保持优化决策的质量，而不仅仅是信度函数本身的接近程度。实验表明，与传统的面向表示的压缩技术相比，这种面向决策的近似在保持正确决策方面更有效。
-
新的 TokenPrint 方法可追溯语言模型来源和训练数据
研究人员开发了一种名为 TokenPrint 的新方法，用于识别语言模型的来源和训练数据。该技术使用基于后期隐藏状态的 top-k 词汇投影的指纹，并通过解码的 token 字符串上的 Jaccard 重叠进行比较。该方法展示了一个与模型相关性相关的“相似度阶梯”，在相同数据上独立训练的模型得分高于那些没有记录关系的。TokenPrint 还充当谱系检索工具，即使在元数据不足的情况下也能准确识别基础模型，并且在量化下保持稳定。
-
从生产日志构建 LLM 微调数据集
本文讨论了为大型语言模型从生产日志构建有效微调数据集的关键过程。文章强调原始日志并非数据集，并着重指出了选择高信号示例的重要性，例如用户编辑、验证器失败或路由到更昂贵模型的请求。作者还提供了数据清理技术的建议，推荐使用代理进行 redaction、使用 MinHash 进行去重、限制每个来源的贡献，以及过滤截断的输出。最后，文章警告了训练集和测试集之间的时间和近乎重复的泄露问题，建议在拆分前进行去重，并使用基于时间的拆分来确保准确评估。
-
研究：大型语言模型编码质量与人类一致性指标不同
一项新研究挑战了基于大型语言模型（LLMs）与人类编码员一致性来评估的普遍做法，认为人类共识并非总是真理。研究人员发现，虽然大型语言模型与人类在编码教育者信息上的一致性低于人类之间的平均一致性，但独立专家在不了解来源的情况下，对人类和大型语言模型的编码的偏好率几乎相等。该研究表明，人类共识有时会编码大型语言模型不复制的共同偏见，并提出了一个新的验证协议，以更准确地评估大型语言模型。
-
新的RareSense框架增强了交易数据中的异常检测能力
研究人员开发了RareSense，一个用于交易数据异常检测的新型框架。该系统解决了传统相似性度量（如Jaccard和Cosine）的局限性，这些度量常常受到频繁属性的偏倚。RareSense识别并利用最小稀有项集来创建关联规则，将对象映射到配置文件中，然后使用加权Jaccard相似性进行比较。在各种基准数据集上的实验表明，RareSense在检索性能上显著优于现有方法，特别是在异常表现出可重复的稀有高阶结构时。
-
AI_LectureNote工作流提高了成绩单的可读性，但存在语义漂移的风险
一项试点研究引入了AI_LectureNote，这是一个旨在提高韩英医学讲座的自动语音识别（ASR）后成绩单可读性的工作流。该工作流旨在恢复拉丁字母医学术语，而不是使用韩语语音音译。虽然后处理显著提高了英语脚本的渲染率，但它也在相当一部分参考句子中引入了语义漂移和极性失败。研究表明，表面准确性、术语脚本渲染、脚本一致性和医学含义保留应分开评估。
-
新框架使用概念网络来映射跨语言的习语含义
研究人员开发了一个新颖的框架，使用概念网络和基于特征的图来表示八种语言的习语含义。该方法用二元概念特征对表达进行注释，创建了一个加权图，其中习语按概念模式而非语言进行聚类。该框架捕获了与分布嵌入不同的语义信息，增强了习语检测能力，并有望用于跨语言翻译对等词的识别。
-
新AI方法提升跨中文社交媒体的冒犯性评论检测能力
研究人员开发了一种新颖的双阈值硬样本挖掘策略，以提高不同中文社交媒体平台上冒犯性评论检测模型的性能。该方法首先对RoBERTa模型进行微调，然后使用从预测置信度低的未标记语料库中识别出的一小部分手动标记的硬样本进行进一步调整。这种方法有效地解决了模型在微博、小红书、贴吧和知乎等不同平台部署时通常会出现的性能下降问题，并取得了显著的性能提升。
-
新的Credence框架通过语义指标增强AI事实核查 · 跟踪2个来源
研究人员推出Credence，一个旨在通过将复杂句子分解为原子声明来提高自动化事实核查准确性的新框架。该框架利用新颖的Semantic-F1指标，该指标利用BGE-large余弦相似度，与传统的Jaccard指标相比，能更好地评估释义声明。Credence还包含其修复流程的收敛定理，并引入了三个用于评估跨领域泛化能力的新基准，在准确性和降低错误率方面均有显著改进。