搞智能体工程的朋友可以看看:研究团队从 6K+ 仓库里挖出 15K+ 条 CI 工作流历史,专门追踪编码智能体在 GitHub Actions 里的用法,抽取工具 cai-miner 开源,准确率验证到 96% 以上。想做智能体与 CI 集成研究或评估的项目直接用得上。
#datasets
Preference data of this scale for web app generation is scarce, and the pairing of subjective preference labels with verified functional requirements gives training and evaluation teams two complementary signal types. Model developers working on coding agents can benchmark against human judgment rather than proxy metrics. Comparison with existing web-dev benchmarks becomes straightforward since both datasets and the accompanying paper are public.
中文教育语料老是被吐槽碎、乱、缺体系,这批人用知识图谱当骨架重建了一遍,还开源了检索平台。做中文模型训练或垂直领域数据构建的可以看看他们的组织思路,比自己乱爬数据靠谱。
Hugging Face 用户破 2000 万、托管量到 300PB,一周新增 9PB,10 月 DAU 和收入都是历史最高。做开源模型或 agent 训练数据的人可以看看这个生态的体量,自己放数据集时也心里有数了。
搞肺癌筛查 AI 的朋友可以看看:魁北克团队放出了 1,678 例 LDCT 扫描加专家标注的公开数据集,标注量比现有公开数据集都大。亮点是 model-to-data 访问机制,数据不出门,代码上门跑,做模型对比评测方便多了。
做无线通信和信道建模的人可以看看这个数据集。10万个室外射频场景、29TB 数据,覆盖 3.5 和 7 GHz 两个频段,专门为训练无线基础模型设计。论文还验证了场景多样性对泛化的作用,想做跨部署环境泛化的团队用得上。
有人把 UCR 这个 TSC 标准基准逐个数据集扒了一遍,发现不少任务的原始用途被改掉了。跑基准刷分前建议先看这份审计。
The non-obvious point is that when an AI agent scrapes or filters data, it silently makes coverage decisions that would normally require a human's judgement, so inherited bias compounds invisibly. Practitioners building RAG pipelines or training data collections in Southeast Asia can use the four-question checklist — population, prediction target, deployment shift, record definition — to audit datasets before use. The C4 versus FineWeb-Edu comparison shows swapping filters only changes what gets excluded, not exclusion itself.
心理咨询师的能力评估一直靠人工打分,又贵又难规模化。这个数据集首次公开了 890 段带评分的咨询师视频,想做情感计算或多模态评估的可以看看。
一个拿 3D 游戏录像训练智能体的数据集,把任务拆成子目标再对齐键鼠操作,500 条轨迹审核通过率 95.8%,做 VLA 研究的可以看看。
顺着 Hacker News 数据的思路,有人挖出了 Hugging Face 上的 Reddit 全量数据,2005 年至今都有,做社媒分析或出海选题的可以看看,就是 109GB 起步,先备好硬盘。
向阳乔木用 Hugging Face 上那份 12G 的 HackerNews 数据集做了个找书网站,能直连 zlib 下载,还挂了 Goodreads 和豆瓣书评,爱读书的可以收藏。
有人发现 HuggingFace 上有 12G 的 HackerNews 数据集,已经用它做了书库、生意案例库等四个网站,你也拿去玩玩。
做阿拉伯语教育 NLP 的可以看看,999 条科学实验加 2167 道选择题,还附了 10 个开源模型的 LoRA 微调评测结果,即将开源。
Google 放出一个 36 小时视频的音频描述数据集,专门测模型生成的旁白能不能塞进视频静默间隙,盲人用户实测说很有用。
做视频生成的朋友可以看看这个 MEV 数据集,专门针对一个长镜头里连续多个事件的场景,带时间边界标注,比常见的单事件短片数据集更对口。
有人拿 BERT 分析了奥地利议会 22 年的演讲,发现联合执政的政党说话越来越像,退党议员也是换了党才改口风。
乌克兰团队把 200 张战时梗图做成了带说服技巧标注的数据集,还测了各家视觉语言模型靠不靠得住,做内容审核或多模态研究的朋友可以看看。
微调 Whisper Medium 就把孟加拉语 WER 从 85% 打到 7.65%,80 多家机构一周内排队要授权,低资源语音方向的值得关注。
Stanford 团队发布了 SWE-chat v2,包含 23 万条真实开发者与 AI 编程代理的交互数据,是研究 AI 编程助手的重要资源。
The takeaway is that low-resource ASR quality can be bought with better data curation rather than bigger models, since a mid-size Whisper checkpoint beat Gemini 3.1 Pro on Telugu purely through fine-tuning. Teams building speech products for Indic and other under-served language markets can use this dataset-first approach instead of waiting for larger architectures. Keeping noisy audio in training, with DNSMOS-based stratification, is the transferable technique.
华为团队把 44 万个 GitHub 仓库和 55 万篇 arXiv 论文连起来,发现星标等信号能提前判断哪篇论文会火,精度提升 12%,数据集免费下载。
This dataset is valuable for researchers developing AI models to identify hereditary polyposis syndromes, which are linked to colorectal cancer.
Hugging Face's storage capacity directly impacts AI development costs and accessibility for researchers and companies across ASEAN.
EG-ARSA模型基于专家知识,有效解决低资源环境下的道路安全审计问题,是Gemini-2.5-Flash模型的升级版。
恭喜 @hellomundoai 完成融资,他们与前沿AI实验室合作,致力于提升AI感知和理解能力,值得关注!
T-Rex offers researchers and developers in ASEAN access to advanced tactile manipulation tools for robotics applications at no cost.
GitSkills把近28万个仓库的380万份SKILL.md整理成SQLite文件,方便挖点子。
想研究 Agent 技能生态的,这个数据集直接给你 380 万份真实 SKILL.md,比你自己爬 GitHub 省事多了。
遥感领域缺精细的篡改定位数据集,这个原型集合了拼接和扩散修复两类篡改,还带掩码和元数据,做取证研究可以直接拿来测。
想了解AI经济影响?Anthropic在Claude里直接集成了Economic Index,免费数据随便用,快试试。
想要自动生成带精确几何图形的数学题?FormalAnalyticGeo 用 CDL 形式语言和 SDF 渲染,造出了 7000+ 带标注的解析几何题目,误差不到 1%。
越南语推荐研究缺数据?ViHoRec 提供了 18K 条跨平台高质量交互,还附带了冷启动基准,方便你对比模型在稀疏场景下的表现。
Vercel 公开了 AI Gateway 的数据,能看到各模型在生产中的真实用量,适合做流量趋势分析。
想给GitHub仓库自动打行业标签?这篇论文发布的数据集和管道精度高达97%,直接用RoBERTa或GPT-4.1就能复现,省去手动标注的麻烦。