AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：本地推理×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
06:54
06:54IT之家（博客/媒体）
72°
谷歌发布 DiffusionGemma，一种基于文本扩散机制的开源 AI 模型，在本地推理速度上比传统自回归模型快 4 倍。该模型通过并行处理所有 token 并逐步去噪生成输出，避免了自回归模型在低带宽环境下的计算浪费。在单块 H100 GPU 上可达每秒 1000 token，DGX Station 上达每秒 2000 token。代码生成和数学推理能力出色，但科学推理等部分基准仍有短板。模型采用 Apache 2.0 开源，可从 Hugging Face 下载。
AI模型扩散模型谷歌Gemma本地推理开源
推荐理由：本地 AI 推理终于有了速度突破——DiffusionGemma 让低带宽设备也能高效运行，做边缘部署或本地应用的开发者可以直接从 Hugging Face 下载试试。
原文
6月4日
08:57
08:57IT之家（博客/媒体）
精选
微软 Surface RTX Spark Dev Box 是一款面向本地 AI 开发的紧凑型桌面设备，专为模型微调、本地推理和智能体工作流设计。该设备搭载 NVIDIA Grace CPU 和 Blackwell RTX GPU，拥有 128GB 统一内存，AI 算力高达 1 Petaflop，可本地运行 120B 参数模型。其铝制外壳覆盖约 1000 个散热孔，兼顾散热与结构设计，整机功耗仅 100W。系统预装开发者优化版 Windows 11 Pro，并配置了 VS Code、GitHub Copilot、WSL 2 等开发工具，旨在减少环境搭建时间。该设备将于今年晚些时候发售。
AI产品微软Surface RTX Spark Dev BoxAI 开发机本地推理NVIDIA
推荐理由：本地跑 120B 模型终于有正经硬件了——Surface RTX Spark Dev Box 把 AI 开发环境打包成 100W 的桌面盒子，做模型微调或智能体开发的团队可以直接关注，省去搭服务器和配环境的麻烦。
原文
04:27
6月3日
22:09
14:45
5月28日
18:13
5月22日
17:13
5月21日
09:05
5月20日
22:02
22:02IT之家（博客/媒体）
AMD 宣布其 AI 开发迷你主机锐龙 AI Halo 定价 3999 美元，将于 6 月晚些时候开放预订。该设备搭载锐龙 AI Max+ 395 处理器，配备 128GB LPDDR5x 内存和 2TB SSD，支持万兆网卡和 Wi-Fi 7。AMD 声称该设备每月可为 AI 开发者节省 750 美元的云服务支出，强调其性价比。同时，AMD 还介绍了锐龙 AI Max 400 系列处理器，作为 300 系列的升级版，最高频率提升 0.1GHz，NPU 算力增加 5 TOPS，最大统一内存容量增至 192GB。
AI产品AMD锐龙 AI HaloAI 开发主机本地推理处理器升级
推荐理由：AMD 用 3999 美元硬件替代每月 750 美元云租金的算盘很实在，做本地 AI 推理或模型微调的开发者值得算一笔账——6 个月回本，之后就是纯赚。
原文
11:55