新基准揭示LLM在电路设计网表处理中的局限性

研究人员推出了NetlistBench，这是一个旨在评估大型语言模型（LLM）在理解和处理SPICE网表方面的可靠性的新基准。SPICE网表对于电路设计至关重要。该基准包含24个任务家族的2,342个案例，评估了模型在参数识别、连接性编辑和等效性判断等任务上的表现。结果表明，虽然LLM在简单的局部编辑任务上表现良好，但在器件添加和等效性判断等更复杂的操作上，其准确性显著下降，这凸显了网表可靠性是基于LLM的电路设计自动化的瓶颈。 AI

影响 指出了将LLM应用于电路设计的关键瓶颈，可能指导未来针对专业工程任务的模型开发。

排序理由 研究论文，介绍了一个用于评估LLM在特定技术任务上性能的新基准。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• Large Language Models
• NetlistBench
• SPICE

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →