AITOP

标签系统

共 3 条相关 AI 资讯
7月9日
07:47
7月3日
09:21
09:21官方账号arXiv cs.LG@Ziyun Qiao, Yue Min, Ruining Chen, Yujun Li
HERMES提出一种数据驱动的层次化标签系统，通过Learned Semantic Transform与3阶段残差向量量化将每个文档标注为粗到细的代码，粒度可达约130k个单元。在1B参数、25B token的预训练实验中，粗粒度下与KMeans类方法性能持平，但层次结构揭示了固定粒度管道无法测试的交互：特定前缀长度下，Stage-2规则对比使16任务能力宏观平均提升+0.0253，而更细粒度时候选池缩小约5倍，该优势消失。HERMES将数据混合设计从固定标签集选择重构为可复用的数据驱动粒度层次导航。
论文HERMES预训练数据混合标签系统多粒度数据筛选
推荐理由：这篇论文用HERMES提供了一种可调节粒度的数据标签方法，比固定标签更灵活，能发现不同粒度下混合规则的效果差异。
原文
5月16日
22:12
22:12lmarena.ai@lmarena_ai
精选
Arena 研究人员 Guanglei Song 和 I-Hung Hsu 在视频中详细介绍了 Arena 分类排行榜背后的数据管道：从 Databricks 和 Spark 作业到可插拔标签框架，调用 LLM 对文本、图像、前端编码等领域的每次评估进行分类。这个元数据层让 Arena 数据超越排行榜排名，对研究更有用。视频还涵盖了动态并发控制处理不稳定的 LLM API、无需重建系统即可添加新标签器、以及成本控制策略（过滤、幂等性和模型选择）。
AI产品Arena数据管道LLM 评估标签系统Databricks
推荐理由：Arena 的数据管道设计解决了大规模 AI 评估元数据管理的痛点，做评测平台或数据管线的团队可以直接借鉴其可插拔标签框架和成本控制思路。
原文