07:24marktechpost@Asif RazzaqNVIDIA 提出 X-Token,一种投影引导的跨分词器知识蒸馏(KD)方法,解决了 GOLD 方法中的两个结构性缺陷。在 Llama-3.2-1B 模型上,X-Token 将 GSM8k 准确率从 2.56% 提升至 15.54%,并在多个基准测试中平均超越 GOLD 3.82 分。该方法通过投影层对齐教师和学生模型的分词器,实现了更有效的知识迁移。X-Token 为小模型蒸馏大模型知识提供了新思路,尤其适用于资源受限场景。论文知识蒸馏NVIDIALlama-3.2-1BGSM8k跨分词器6 个信源在谈推荐理由:X-Token 解决了知识蒸馏中分词器不匹配的痛点,做模型压缩或边缘部署的团队可以直接用这个思路提升小模型推理能力,值得关注。原文
07:39IT之家(博客/媒体)78°科技媒体 The Information 爆料苹果与谷歌在 AI 方面的合作细节。苹果采用知识蒸馏技术,基于谷歌 Gemini 模型训练轻量端侧 AI 模型,使其能在 Apple 设备本地运行,以提升响应速度和保护隐私。同时,为减轻服务器压力,iOS 27 的部分 Siri 请求将转向 Google Cloud 调用 Gemini 模型处理。苹果还批准采用 NVIDIA 的机密计算技术,在云端处理时加密数据,以平衡隐私与性能。此举表明苹果在 AI 部署上坚持隐私优先,同时借助外部力量弥补自身算力不足。AI产品苹果Gemini知识蒸馏隐私计算Siri7 个信源在谈推荐理由:苹果终于把 Gemini 用在了自家 AI 上——用蒸馏技术做本地模型,同时把部分 Siri 请求外包给谷歌云。做隐私合规或苹果生态开发的团队值得关注,这可能是未来端云混合 AI 的样板。原文