Solar Open 2: 250B MoE模型，1M上下文，专为长程智能体任务设计

Solar Open 2 是一个 250B 参数（15B 激活）的混合专家（MoE）语言模型，上下文窗口达 1M token。它采用混合注意力机制，每 3 层线性注意力插入 1 层 softmax，无位置编码。训练上，从 Solar Open 1 初始化 5.69B 参数共享骨架，并通过质量与稀有度感知的数据筛选将 20T 语料缩减为 10T 以提升效率。通过多教师同策略蒸馏（MOPD）融合 12 个领域专家。在 MMLU-Pro、LiveCodeBench 和 APEX-Agents 上领先，韩语基准平均最高，Ko-GDPval 上以不到 1/6 参数量与 DeepSeek-V4-Pro (1.6T) 竞争。