华为把昇腾适配到蚂蚁百灵 Ling-3.0-flash 了,还推出 CANN PyPTO 框架,写算子的活能自动跑完。
蚂蚁百灵开源了原生混合推理模型 Ling-3.0-flash。华为同步完成昇腾 0 Day 适配,兼容 A2、A3 系列产品,分别需要 8 卡和 4 卡。适配过程首次引入 CANN PyPTO 算子编程框架,基于 PTO ISA 的 Tile 编程范式实现自动化。CANNBot PyPTO Agent 将算子开发拆成 7 个阶段,全程无需人工介入。
华为官宣昇腾 0 Day 支持蚂蚁百灵 Ling-3.0-flash 模型,全新算子编程框架 CANN PyPTO 首秀
IT之家 8 月 6 日消息, 蚂蚁百灵昨日正式开源新一代原生混合推理模型 Ling-3.0-flash ,主打极致智能密度、全链路 Agent 闭环与低成本规模化落地。 华为官方今日宣布, 昇腾同步完成百灵 Ling-3.0-flash 模型 0 Day 适配 ,在适配的过程中,还首次引入 CANN PyPTO 算子编程框架,可缩短复杂融合算子交付周期,高效完成算子接入、推理框架性能调优,同步开放完整部署工程。 本次适配全面兼容昇腾 A2、A3 系列产品 ,配套官方标准化部署方案,开发者可通过官方镜像快速拉起推理服务(硬件要求为昇腾 A2 系列产品:8 卡;昇腾 A3 系列产品:4 卡)。 CANN PyPTO 编程框架基于 PTO ISA(虚拟指令集)构建 Tile 编程范式,开发者通过 Tensor 级 API 精准定义计算逻辑,由框架自动完成分片调度、数据搬运、代码生成全流程工作。 另外,CANNBot PyPTO Agent 构建了多智能体框架,将整个算子开发分解 7 个阶段(Stage)自动推进,每个阶段由职责分明的子智能体协同执行。所有调度由统一编排器 pypto-op-orchestrator 负责,子智能体间通过记忆机制与机器可读状态进行信息交换,确保上下文无缝传递。 整个流程从自然语言算子需求输入开始,历经自动化的生成、验证与调优,直至产出精度达标、性能优化完成的可上板算子,全程无需人工介入各阶段交接。这一工作流不仅完成了算子编程体验的全面跃升,更显著缩短了算子交付周期。IT之家附各阶段逻辑如下: 相关阅读: 《 蚂蚁集团发布百灵原生混合推理模型 Ling-3.0-flash:124B 总参数量,能力对标上一代旗舰 Ring-2.6-1T 》