精选理由
本地跑大模型的内存瓶颈终于有解了——群联这项技术让16GB内存的AI PC也能运行26B模型,做本地AI开发或重度推理的用户可以直接升级硬件方案,值得关注。
群联电子与英特尔合作,将aiDAPTIV内存延伸技术适配第3代酷睿Ultra处理器,支持OpenVINO工具套件。该技术通过Cache Memory将AI工作内存从系统DRAM拓展至NAND,建立新内存架构,降低本地AI对DRAM的需求。测试显示,搭载aiDAPTIV的系统仅需16GB DRAM即可运行26B参数模型,而未配备的系统需32GB。这使AI PC能支持更大MoE模型、更长会话和代理式AI工作流,提升本地AI应用能力。
AI 翻译 · 中文
群联电子与英特尔合作,将aiDAPTIV内存延伸技术适配第3代酷睿Ultra处理器,支持OpenVINO工具套件。该技术通过Cache Memory将AI工作内存从系统DRAM拓展至NAND,建立新内存架构,降低本地AI对DRAM的需求。测试显示,搭载aiDAPTIV的系统仅需16GB DRAM即可运行26B参数模型,而未配备的系统需32GB。这使AI PC能支持更大MoE模型、更长会话和代理式AI工作流,提升本地AI应用能力。
IT之家 6 月 2 日消息,群联电子 (Phison) 今日宣布与英特尔合作,增强 AI PC 的本地 AI 应用执行能力。 群联 Pascari aiDAPTIV 内存延伸技术 现已适配第 3 代酷睿 Ultra 处理器 (Panther Lake / PTL) 并支持 OpenVINO 工具套件 ,这使得最新一代 AI PC 能支持更大的 MoE AI 模型、更长时间的 AI 会话、代理式 AI 工作流。 通过 Cache Mem…