data science
PulseAugur coverage of data science — every cluster mentioning data science across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
开发者分享数据分析工具和AI面试准备的见解
一位开发者分享了使用DuckDB和Apache Parquet分析公共开放数据的见解，强调了其处理大型数据集的效率，且无需API密钥。另一位开发者讨论了他们创建的用于面试准备的工具DevInterview.ai，并指出该工具与其他免费选项一同可用。
-
DevAtlas 推出，旨在引导开发者穿越复杂的技术格局
DevAtlas 是一个旨在帮助开发者驾驭现代软件开发复杂性的新平台。它提供结构化的学习路径、技术术语表以及项目创意，引导用户学习 HTML、JavaScript、React、Python、API、AI、数据科学、云、Docker 和计算机安全等各种技术。该工具旨在为初学者和经验丰富的开发者提供方向，使他们能够构建有意义的项目。
-
新的贝叶斯路由系统优化了LLM在简历筛选中的使用
研究人员开发了CreateScore，一个新颖的系统，它使用贝叶斯网络智能地将任务路由给不同的LLM进行简历筛选。这种方法旨在通过使用一个较小的8B参数模型来处理简单的决策，并将更复杂的案例升级给一个较大的120B参数模型，从而降低计算成本。在合成数据上的初步测试表明，CreateScore能够本地解决绝大多数标准决策，与将所有任务都交给大型模型相比，令牌使用量减少了65%以上。然而，该系统的置信度信号未能有效识别出小型模型所犯的错误…
-
数据科学相似性指标解析：从Netflix到欺诈检测
本文探讨了数据科学应用中至关重要的各种相似性度量和指标。文章解释了为何需要这些指标，并提供了示例，如Netflix的推荐、Goldman Sachs等金融机构的欺诈检测以及零售企业的客户细分。该帖子还触及了搜索引擎如何使用这些指标对相关文档进行排名，并讨论了欧几里得距离、曼哈顿距离和余弦相似度等不同距离指标的可用性。
-
AI和LLM术语分类工作正在进行中
一项旨在对数据科学、人工智能（AI）、生成式AI（GenAI）和大语言模型（LLM）相关的术语和定义进行分类的工作正在进行中。此次分类旨在阐明用于GenAI和LLM应用的各种技术手段。
-
关于AI和数据科学工作流的数字指南发布
Mastodon用户Jesper创建并分享了多本关于数据科学和人工智能实际应用的简短数字指南。这些指南以PDF形式提供，涵盖了提示工作流、数据科学资源以及机器学习最佳实践等主题，旨在为那些偏好简洁、可操作信息而非详尽教科书的个人提供结构化学习。
-
数据科学岗位正演变为人工智能工程岗位
数据科学领域正日益演变为人工智能工程岗位，特别是对于那些工作直接支持人工智能系统的专业人士而言。这一转变表明，在构建和维护人工智能基础设施和应用程序方面，对专业技能的需求日益增长。
-
模型部署成为数据科学中的关键技能差距
文章强调，模型部署（通常称为MLOps）是现代数据科学中一项关键但常被忽视的技能。尽管机器学习和深度学习取得了进展，但仍有大量模型未能进入生产环境。熟练掌握Python、Tensorflow、PyTorch等工具和平台，AWS、Azure和Google Cloud Platform等云服务，以及Docker和Kubernetes等容器化技术，对于成功部署至关重要。
-
学习 Matplotlib 以进行数据科学：Python 可视化入门指南
本文提供了一份对使用 Matplotlib（Python 中用于数据可视化的基础库）的入门指南。它解释了如何使用 pip 安装 Matplotlib，并介绍了用于创建各种图表的 pyplot 模块。该指南通过准备数据并使用 `plot()`、`xlabel()`、`ylabel()`、`title()` 和 `show()` 函数，引导用户生成他们的第一个简单折线图。
-
新的聚类算法 ANCMM 使用 Marcus 映射处理稀疏矩阵
研究人员开发了一种名为双随机自适应邻域聚类 (ANCMM) 的新聚类算法，该算法利用了 Marcus 映射。这种新颖的方法扩展了 Marcus 定理，能够学习稀疏矩阵，这对于聚类中的计算效率至关重要。该算法还包含秩约束，以确保学习到的图自然地划分为所需的簇数。ANCMM 的有效性已通过与最先进方法的比较得到验证，并已建立其与最优传输问题的联系。
-
数学定理与机器学习、语言学相关联
一篇新文章探讨了抽象数学概念与机器学习和语言学实际应用之间的联系。该论文将伽罗瓦理论基本定理与Stone--Weierstrass定理进行了类比，认为两者都将一个对象类的区分能力与其表达能力联系起来。作者们还讨论了这些原则如何在数据科学和语言学中体现，并提供了例子来说明这一主题。
-
新方法利用语言模型预测金融处罚
研究人员开发了一种名为 Wasserstein-Barycentric Interaction Fields 的新方法，利用语言模型表示来分析空间因子模型。该方法通过 Wasserstein 重心重建，从公司的语言模型文章嵌入中重建一个场，然后可以比传统加权方案更准确地预测同行错配处罚。将其应用于 52 家公司，与等权重或 RBF 加权方法相比，该方法产生了更高的处罚比率和条件似然比，证明了其在金融计量经济学、情感分析和其他预测任务中的应用潜力。
-
AI基础设施学习路径详解：10个模块，65+个主题
本文为有志于从事AI基础设施工作的人士概述了一条全面的学习路径。它详细介绍了一个包含10个模块的课程，涵盖了65个以上技术主题，并包括5个生产案例研究。该计划旨在引导学习者从系统工程基础知识到大规模AI。
-
卡塔尔将人工智能和数据科学纳入早期教育课程
卡塔尔教育部宣布了一项重大的课程改革，将人工智能和数据科学教育的重点进行转移。这些学科将不再是大学的专属领域，而是将从学习的最早阶段开始融入课程。此举旨在将人工智能和数据科学知识植入该国所有教育层面。
-
MLOps：真正的挑战在于部署模型，而不仅仅是训练它们
本文讨论了部署机器学习模型所涉及的复杂性，强调该过程远远超出了初始训练阶段。它强调了 MLOps 实践的重要性，包括监控、版本控制和 CI/CD 管道，以确保成功高效的部署。文章认为，虽然训练模型可能很简单，但将其投入运行和在生产环境中维护的后续步骤才是真正的挑战所在。
-
AI创造新职业，强调数据分析和专业化
人工智能正在创造新的职业，其中数据分析和AI专业化是突出的例子。这些职位通常需要数据科学和分析方面的技能。这些工作的出现凸显了科技行业不断发展的格局以及对AI相关专业知识的需求。
-
有抱负的MLOps工程师可以应对入门级挑战
本文为缺乏直接经验的有抱负的MLOps工程师提供了指导。文章承认招聘启事中通常要求多年的经验，并旨在揭开进入该领域的神秘面纱。内容可能涵盖与MLOps职位相关的基本技能和技术。
-
AI基础设施工程：生产级AI系统的基石
AI基础设施工程对于在生产环境中部署和管理机器学习模型至关重要。该领域涵盖了支持AI所需的系统和流程，包括计算、存储、网络、监控和安全。MLOps、云计算、Kubernetes、Docker和CI/CD流水线等关键技术和实践对于构建健壮且可扩展的AI系统至关重要。
-
人工智能与数据科学职业在数字时代提供丰厚机会
数字时代正在人工智能和数据科学领域创造众多有吸引力的职业机会。该领域提供令人兴奋的就业前景和有竞争力的薪资。探索具体的职位角色及其实际薪酬可以帮助个人为不断发展的技术格局做好准备。
-
Microsoft Fabric 以 OneLake 为核心整合数据工具
Microsoft Fabric 是一个全面的 SaaS 分析平台，旨在统一数据集成、数据工程、数据仓库、数据科学、实时分析和 Power BI。其核心组件 OneLake 是一个基于 Azure Data Lake Storage Gen2 的、租户范围内的中央数据湖，通过默认使用 Delta Parquet 格式来确保数据一致性。该平台支持多种工作负载，包括通过 Data Factory 进行数据摄取、在 Data Enginee…