实体
Christos Koutsiaris
Christos Koutsiaris
PulseAugur coverage of Christos Koutsiaris — every cluster mentioning Christos Koutsiaris across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
嵌套字节级词汇表提供部署灵活性但会降低语言模型性能
一篇新的研究论文探讨了语言模型的嵌套字节级词汇表概念，证明虽然将模型切片以在不同词汇表大小下运行在数值上是精确的，并且可以将部署的权重减少 66%，但会带来性能成本。研究发现，共享模型比专用模型在每字节比特数上落后近 3-4%。进一步分析表明，控制令牌的影响微乎其微，而输出限制会带来性能损失。尽管存在这些缺点，多容量训练可提高模型对印刷噪声的鲁棒性。
-
Daedalus-150M：一种针对CPU推理优化的新型混合LLM架构
研究人员开发了Daedalus-150M，这是一种针对CPU推理优化的新型语言模型架构。与传统模型在设计后进行缩减不同，Daedalus-150M在设计时就考虑了CPU的限制，并采用了卷积-注意力混合机制。这种设计使其能够在显著减少内存需求的情况下保持性能，尤其是在处理长上下文时。