实体
Inesh Chakrabarti
Inesh Chakrabarti
PulseAugur coverage of Inesh Chakrabarti — every cluster mentioning Inesh Chakrabarti across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
HoliBench工具包支持基础模型的跨平台评估
一个名为HoliBench的新工具包已被开发出来，旨在解决在资源受限的CPS-IoT应用上部署基础模型（包括大型语言模型）所面临的挑战。该工具包提供了一个统一的工作流程，用于在从单板计算机到GPU服务器的各种设备上评估模型的准确性、延迟和能耗。HoliBench的平台抽象层以及对多种模型模态和推理引擎的支持，实现了全面的跨设备测量，揭示了传统工具所忽略的权衡。该开源基础设施旨在促进面向部署的基础模型评估。
-
新的 LorExperts 和 BTExperts 方法可有效压缩 MoE 模型
研究人员开发了两种新的方法，LorExperts 和 BTExperts，用于压缩混合专家（MoE）语言模型。这些技术旨在通过压缩专家权重矩阵来降低部署 MoE 模型的计算成本，同时保持准确性。LorExperts 对专家进行聚类，并使用一个主要的、全精度的专家，对其他专家进行低秩校正，保留原始路由器。BTExperts 进一步将这些专家组织成树状结构，以实现摊销计算。这两种方法在与现有基线相比时都显示出更高的性能，尤其是在专家数量增…