一位开发者更新了一个名为Cull的开源、本地运行的工具，该工具专为数据集整理而设计。该工具可以从Civitai、X和Reddit等各种来源抓取、排序和为图像和视频添加字幕。它集成了去重、质量和主题相关性评分、水印检测以及自动字幕等功能，并可以选择将数据集导出到本地文件或HuggingFace。 AI
影响 提高了管理大型图像和视频数据集的AI开发人员和研究人员的效率。
排序理由 对现有用于数据集管理的开源工具进行了更新。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>I built Cull a few months ago for some large scale dataset curation projects (300k+ images/videos).</p> <p>Point it at Civitai, X, Reddit, Discord, or any URL that gallery-dl or yt-dlp knows. It queues everything, runs a vision model (or multiple…