MPNet: Masked and Permuted Pre-training for Language Understanding
PulseAugur coverage of MPNet: Masked and Permuted Pre-training for Language Understanding — every cluster mentioning MPNet: Masked and Permuted Pre-training for Language Understanding across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
编码代理记忆通过新的嵌入模型将 token 使用量减少 8 倍
Turnbook 的开发者(一个用于编码代理的本地记忆系统)通过更换系统的嵌入模型,显著减少了 token 的使用量。通过用 EmbeddingGemma 替换多语言 mpnet 模型,该系统在从长聊天记录中检索相关信息时,以相同的准确率现在需要少 8 倍的 token。这一改变还提高了多会话问题和跨语言搜索的性能,同时略微增加了搜索延迟并减少了内存使用。
-
为健康错误信息分析开发了隐私保护人工智能框架
研究人员开发了一种新颖的、使用CKKS同态加密的隐私保护文本推理框架,用于健康错误信息分类和语义检索。该系统旨在保护用户提交的敏感医疗信息,同时准确识别健康错误信息。该框架集成了各种嵌入技术和TF-IDF特征,在分类任务中实现了高准确率,并在检索任务中与人类相似度得分具有很强的相关性。优化的实现显著降低了基于密文的检索的延迟和通信开销。
-
GNN在异质图上的性能取决于节点表示
一篇新的研究论文探讨了图神经网络(GNN)在异质图上的性能,在异质图中,连接的节点通常具有不同的标签。研究发现,不同GNN架构的有效性在很大程度上取决于所使用的节点表示类型。例如,在Roman-Empire基准测试中,使用上下文Transformer嵌入而非静态fastText向量所带来的性能提升在不同架构之间存在显著差异,GAT比GCN-sep显示出更大的改进。这表明在评估GNN在异质环境中的鲁棒性时,架构选择和表示策略不能孤立地进行评估。
-
迈向通用表格嵌入:跨数据任务的基准测试
研究人员开发了两个用于改进表格数据处理的新框架。其中一个名为“通过表示稳定性提高表格检索的鲁棒性”(Improving Robustness of Tabular Retrieval via Representational Stability),通过平均不同格式的嵌入来创建规范表示,解决了基于Transformer的表格检索系统中的序列化敏感性问题。另一个框架SAGE(Sparse Adaptive Guidance)是一个基于LL…