Muon spin rotation
PulseAugur coverage of Muon spin rotation — every cluster mentioning Muon spin rotation across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
SkillEval框架提供超越标量分数的详细LLM能力画像
一个名为SkillEval的新框架已被开发出来，用于在单一标量分数之外提供对大型语言模型（LLM）更细致的评估。SkillEval利用LLM的元认知能力来识别可解释的技能，并应用心理测量学中的认知诊断模型来评估每项技能的能力。在多个基准测试中对数千个LLM进行的实验表明，SkillEval生成的模型画像更可靠、信息量更大，可以预测在未见过项目上的表现，并通过动态模型路由将推理成本降低60%以上。
-
研究表明，多智能体系统中的LLM评判面临可靠性问题
多篇研究论文探讨了在多智能体系统和评估智能体工具调用中使用大型语言模型（LLM）作为评判者的局限性和潜在改进。一项研究引入了AgentAuditor，它使用推理树来比多数投票更有效地聚合智能体输出，并引入了Anti-Consensus Preference Optimization来减少从众偏见。另一篇论文《LLM作为评判者并非神谕》（LLM-as-a-Judge Is Not an Oracle）强调了在使用LLM评判者的自改进智能…
-
量化影响大语言模型性能，更大模型表现出更强的韧性
一篇新的研究论文探讨了量化对大语言模型性能的影响，考察了从2位到6位精度的模型。研究发现，虽然更高的精度通常能带来更好的性能，但激进的量化往往能保留可接受的准确性，尽管一些模型会出现显著的性能下降。更大的模型往往对量化更具韧性，但中等规模的模型（70亿至90亿参数）在效率和性能之间提供了良好的平衡。