实体
MLC-LLM
MLC-LLM
PulseAugur coverage of MLC-LLM — every cluster mentioning MLC-LLM across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
XGrammar 库通过语法约束解码确保生成有效的 JSON 输出
XGrammar 库（具体为 2026 年 6 月 27 日发布的 0.2.3 版本）提供语法约束解码功能，以确保语言模型生成有效的结构化输出（如 JSON）。该方法通过在每个生成步骤中屏蔽模型采样分布中的无效 Token 来防止输出格式错误，从而消除了重试循环的需要。XGrammar 与 vLLM、SGLang、TensorRT-LLM 和 MLC-LLM 等流行的推理引擎集成，为结构化输出生成提供后端支持。
-
新论文在真实的手机用户设置下对手机上的大型语言模型进行基准测试
一篇文献综述讨论了“MELTing point”论文，该论文在移动设备上对语言 Transformer 进行了基准测试。该研究采用了真实的用户设置，区分了预填充和解码过程，以评估 LLM 在各种手机和边缘设备上的性能。研究人员使用了一个复杂的系统，配备 Raspberry Pi 控制器来管理部署、监控和与设备的交互，同时还捕获了从应用程序启动到 LLM 响应的完整用户体验。
-
新的AI框架可实现更安全的多智能体系统和基于浏览器的潜在协作
研究人员开发了一个新的分层多智能体强化学习框架，该框架在保持效率的同时强制执行安全约束。这种方法在低层使用约束流形来确保安全，而高层策略则学习协调行为。另外，还创建了一个递归多智能体系统（RecursiveMAS）的浏览器原生实现，允许智能体在潜在空间中直接协作，而不是通过文本。该实现利用WebLLM和WebGPU，旨在使多智能体研究在消费级硬件上更易于访问和更高效。