实体
embeddingmagibu-200m
embeddingmagibu-200m
PulseAugur coverage of embeddingmagibu-200m — every cluster mentioning embeddingmagibu-200m across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的土耳其语嵌入模型实现 8K 上下文窗口
研究人员开发了 embeddingmagibu-200m，这是一款新的专注于土耳其语的句子嵌入模型，可显著增强语义搜索及相关任务。该模型拥有 768 维向量输出和 8,192 个 token 的上下文窗口，相比之前的基于 BERT 的土耳其语编码器有了巨大提升。适配过程包括优化分词器、克隆教师模型和采用离线蒸馏，最终得到一个参数量为 200M 的模型，该模型训练高效且成本效益高。
-
新的土耳其语嵌入模型通过高效适配实现SOTA
研究人员开发了一个新的、专注于土耳其语的句子嵌入模型embeddingmagibu-200m，该模型在需要更少计算资源的情况下，显著优于更大的教师模型。该模型是通过一个三阶段的适配过程创建的，包括一个定制的、针对土耳其语优化的分词器、克隆教师模型的架构，以及从预计算的嵌入中进行离线蒸馏。这种方法产生了一个拥有2亿参数的模型，在土耳其语基准测试中取得了最先进的性能，并附带所有必要的工件以供复现。