AWS EC2
PulseAugur coverage of AWS EC2 — every cluster mentioning AWS EC2 across labs, papers, and developer communities, ranked by signal.
-
云GPU成本结构：按需付费与年度订阅分析
本文解析了云GPU实例的按需付费与年度订阅模式的成本结构，认为“计算自由”并非简单的成本二分法。选择很大程度上取决于工作负载利用率、并发需求和服务水平协议（SLA）的限制。对于一致的推理服务，年度订阅通常更具成本效益，而按需实例则为波动的研发任务提供了灵活性。分析强调，单价与承诺期限成反比，并且必须考虑实际利用率来确定每token的真实成本。
-
LayoutBench基准测试评估用于多媒体机器学习工作负载的云存储
一项名为LayoutBench的新基准测试已被开发出来，用于评估不同云存储布局在多媒体机器学习工作负载下的性能。该基准测试比较了三种策略：单个对象（L1）、顺序tar归档（L2）和列式Parquet文件（L3）。在AWS S3和EC2实例上对ImageNet进行的实验表明，L2通过连接重用来提供更低的延迟，而L3在非常大的检索时速度最快，但传输的数据量显著增加且需要更多内存。研究发现，数据传输成本是所有布局中占主导地位的开销。
-
开发者使用 llama.cpp 在 AWS EC2 上自托管 Llama 3.1
一位开发者详细介绍了如何使用 llama.cpp 在 AWS EC2 g4dn.xlarge 实例上自托管 Meta 的 Llama 3.1 8B Instruct 模型。该设置涉及使用量化模型版本以适应实例的 15GB VRAM，并使用 CUDA 支持编译 llama.cpp 以实现 GPU 加速。这种方法提供了一个与 OpenAI 兼容的 API 端点，与按 token 计算的云服务相比，可能降低成本。
-
Eugene Yan 详述其非传统的数据科学领导之路
数据科学专业人士 Eugene Yan 分享了他的职业生涯见解，他最初的心理学背景，后来转型到 IBM、Lazada 和 Amazon 等公司的数据科学岗位。他强调了持续学习、自主项目以及抓住机会的重要性，即使这些机会是意料之外的。Yan 还讨论了他通过写作和演讲分享知识的方法，强调真实性和为听众提供有价值的实用细节。