Retrieval Enhanced Transformer
PulseAugur coverage of Retrieval Enhanced Transformer — every cluster mentioning Retrieval Enhanced Transformer across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
EA Community Choice 通过空投和二次方融资分配 20 万美元
EA Community Choice，于 2024 年秋季举行的实验性资助轮，成功向社区项目分配了 20 万美元。该轮资助采用了一种新颖的方法，其中 340 名用户根据其对 EA 社区的贡献（例如捐赠、组织或为 EA 组织工作）获得了空投。此外，还采用了二次方融资机制来匹配捐赠，尽管其在广泛分配资金方面的有效性被认为是未来需要考虑的方面。
-
Retro 应用以仅限好友的照片日记重现早期 Instagram 的精神
Retro 是一款新的社交媒体应用，旨在通过专注于与朋友分享时刻而非算法内容来效仿 Instagram 的早期。Retro 由曾负责 Instagram Stories 功能的 Nathan Sharp 联合创立，鼓励用户每周至少发布一张照片，这些照片将对他们的关注者可见。该应用利用照片元数据来提供背景信息，并提供相册和独特的时间线导航等功能，而付费订阅则可解锁分享旧照片和视频等高级功能，以及授予多个好友访问密钥。
-
架构检索：大语言模型的新范式
架构检索方法将文档查找直接嵌入模型架构中，这与将检索文本粘贴到提示中的标准RAG不同。该方法旨在通过一个专门的机制来处理检索到的内容，而不改变主序列长度，从而降低注意力成本并提高效率。kNN-LM和DeepMind的RETRO等示例通过内插输出分布或使用分块交叉注意力来整合外部知识，而不会不成比例地增加计算复杂度。
-
Eugene Yan 精选语言模型论文供学习小组参考
Eugene Yan 整理了一份基础语言模型论文的阅读清单，旨在促进小组学习会议。该清单包括了“Attention Is All You Need”、“BERT”和“GPT-3”等开创性论文，并附有对其核心贡献的简要总结。Yan 还提供了如何阅读研究论文的指导，并鼓励社区贡献来完善该清单。