实体
SingStreamBench
SingStreamBench
PulseAugur coverage of SingStreamBench — every cluster mentioning SingStreamBench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
蚂蚁集团推出SingProbe，一款过程内AI安全护栏
蚂蚁集团推出了SingProbe，一个内部开发的旨在将风险检测直接集成到AI模型生成过程中的安全系统。这种方法旨在以最小的开销识别不安全内容和事实错误，据报道在解码阶段的额外成本不到0.5%。SingProbe已适配29个开源模型，并支持SGLang和vLLM等推理框架，代码和基准测试现已公开。
-
新型 SingProbe 系统内在集成 LLM 护栏
研究人员开发了 SingProbe，一种新颖的大型语言模型（LLM）内在运行时护栏系统，该系统直接在模型的推理过程中运行。这种方法旨在通过重用 LLM 生成过程中产生的隐藏状态来减少外部护栏模型相关的开销和延迟。SingProbe 以最小的额外计算成本，在 token 级别上持续预测查询意图、响应安全性和幻觉风险。还引入了一个新的基准测试 SingStreamBench，用于评估流式护栏检测新兴不安全内容的有效性。