实体
Vishal Misra
Vishal Misra
PulseAugur coverage of Vishal Misra — every cluster mentioning Vishal Misra across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
AI成本飙升，迫使企业寻求更便宜的中国及开源模型
公司正面临AI服务成本不断攀升的局面，特别是来自OpenAI和Anthropic等提供商的订阅模式，由于高昂的token使用量，其盈利能力不如预期。先进模型的API访问成本远超订阅费用，导致一些公司开始探索更经济的替代方案。这激发了对中国大模型和开源模型的兴趣，它们提供了显著的成本节约，有时可将费用降低高达95%，同时在许多任务中保持相当的能力。
-
贝叶斯风洞揭示用于推理的 Transformer 几何设计
研究人员开发了“贝叶斯风洞”来严格研究 Transformer 如何执行贝叶斯推理。这些受控环境能够以高精度验证小型 Transformer 模型中的贝叶斯后验，这是容量匹配的多层感知机 (MLP) 无法实现的。研究表明，Transformer 利用残差流作为信念基底，前馈网络用于后验更新，注意力机制用于内容可寻址路由，展示了贝叶斯推理的几何设计。
-
新论文详述交叉熵训练如何塑造Transformer的注意力机制
研究人员分析了交叉熵训练如何塑造Transformer注意力头中的注意力分数和值向量。他们的工作引入了一种基于优势的注意力分数路由法则以及一种负责任加权的更新值机制。这种机制创造了一个反馈循环，其中查询和值共同专业化，使Transformer能够执行精确的概率推理。