ShareGPT
PulseAugur coverage of ShareGPT — every cluster mentioning ShareGPT across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新技术可在无共享提示词的情况下将隐藏消息嵌入 LLM 文本
研究人员开发了一种名为同步 Logit 引导 (SLS) 的新型隐写术技术，该技术能够将隐藏消息嵌入大型语言模型生成的自然流畅的文本中。与之前需要发送方和接收方使用相同提示词上下文的方法不同，SLS 从输出本身派生出代理提示词，从而消除了在检索增强生成等生产环境中使用共享提示词的需要。该技术已证明了其实际的隐蔽性和容量，实现了显著的信息密度，并产生了在统计上与标准生成无法区分的输出。
-
Astrolabe系统通过随机预测引导调度优化大语言模型服务
研究人员开发了Astrolabe，一个旨在优化大语言模型（LLM）服务的新型调度系统。该系统采用随机预测引导的方法，在无需昂贵的基于迁移的重新平衡的情况下，平衡多个LLM实例之间的负载。Astrolabe结合了响应长度估计、延迟预测和power-of-two-choices调度策略，以增强负载平衡并降低延迟。实验表明，Astrolabe可以匹配或超越现有基线的性能，显著降低平均和P99的首个token时间和端到端延迟，同时还减少了预测…
-
推测性解码在不同模型上的性能差异巨大
推测性解码是一种旨在加速 AI 模型推理的技术，但发现在某些条件下会显著降低性能。在 Llama-3-70B 模型上进行测试时，该技术在 batch 224 时成为一种“负担”，将 token 吞吐量降低了 26%。在 gpt-oss-120b 模型上进行的类似测试显示，性能转折点急剧转移到 batch 1,981，表明该功能何时变得有害存在 45 倍的差异。这种不一致性表明，当前关于启用推测性解码的建议可能不完整，因为它通常只引用了…
-
qKnow Agent Platform Pro v3.1.1 简化 AI 知识摄取
qKnow Agent Platform Pro 发布了 3.1.1 版本，重点在于提高 AI 代理知识摄取的效率。此次更新解决了常见的瓶颈问题，例如处理 JSON 和 JSONL 等半结构化数据，提供了样式特定的解析器，可自动提取问答对，无需手动重塑。此外，该平台现在支持具有可恢复传输功能的多千兆字节上传，无需拆分大文件，并降低了数据碎片化的风险。新的导出功能支持与 Hugging Face 和 vLLM 等工具的无缝集成，提供常见…
-
Sangam 系统优化扩散式大语言模型的服务
研究人员开发了 Sangam，一个旨在高效处理扩散式大语言模型（dLLMs）的新服务系统。与传统的自回归模型不同，dLLMs 迭代生成文本并具有双向注意力机制，这使得标准的缓存技术变得复杂。Sangam 引入了一个赤字 token 预算调度器来管理进行中的解码和整个预填充，目标是实现摊销的无停滞调度。该系统还采用了一种混合服务策略来平衡预填充和解码的资源分配，在 LLaDA-8B 和 Dream-7B 等基准测试中显示出比现有方法更高的延迟改进。
-
AgentTrove 数据集支持对 170 万个 Agent 轨迹进行流式分析
本教程介绍了 AgentTrove，这是一个大型开源的 Agentic 交互轨迹数据集，可通过流式传输访问，无需完整下载。它详细介绍了检查对话模式、规范化回合和解析 Agent 输出（包括 shell 命令）的方法。该过程还包括通过汇总统计数据和可视化数千个轨迹的模式来创建干净的 ShareGPT 风格数据集，用于监督微调。
-
新的内存分页技术提高了混合式大语言模型推理效率
研究人员开发了一种名为非对称虚拟内存分页（AVMP）的新内存管理技术，以提高混合式语言模型的效率。这些模型结合了Transformer层和状态空间模型（SSM），导致存在当前系统处理不佳的独特内存缓存类型。AVMP将这些缓存类型分离到不同的池中，并在需要时允许它们之间的容量迁移，从而减少内存不足事件并显著提高请求吞吐量。
-
AgentHER框架通过失败轨迹重标记提升LLM代理训练
研究人员开发了AgentHER，一个旨在通过重新利用失败轨迹来改进LLM代理训练的新框架。该系统将后视经验回放（Hindsight Experience Replay）应用于自然语言，识别失败尝试中其他可实现的目标。此方法将丢弃的数据转化为有价值的训练材料，显著提高了各种模型规模下代理的性能和数据效率。