PulseAugur
中
实时 07:09:32
English(EN) Integrity of peer-to-peer distributed LLM inference under malicious nodes

新方法验证点对点分布式推理中LLM的完整性

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新论文提出了一种方法，用于确保大型语言模型（LLM）在分布式到多个点对点节点进行推理时的完整性。该方法包括使用具有已知正确激活的秘密“金丝雀”输入，并将其混入常规流量中。通过测量节点输出与这些已知参考的偏差，系统可以识别篡改结果的恶意节点，并将其与仅表现出轻微硬件噪声的良性节点区分开来。据报道，该方法在识别恶意分片时取得了完美的AUROC分数1.0。 AI

影响 增强了分布式LLM推理的信任和安全性，可能促进将消费者硬件池更广泛地用于AI任务。

排序理由 该集群包含一篇详细介绍LLM完整性新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新方法验证点对点分布式推理中LLM的完整性

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Mert Cihangiroglu, Antonino Nocera ·

    恶意节点下点对点分布式大模型推理的完整性

    arXiv:2607.19490v1 Announce Type: cross Abstract: Peer-to-peer distributed inference executes a Large Language Model (LLM) on pooled consumer hardware by spreading its layers across many nodes. Every request passes through nodes that are owned and controlled by multiple independe…

相关实体

相关话题