精选理由
本地跑通高质量视觉语言模型，做多模态应用或隐私敏感项目的开发者可以直接在 Mac 上体验，无需依赖云端，值得一试。
开发者 Ivan Fioravanti 在 mlx-vlm 项目中新增了对 Step 3.7 Flash 模型的支持，将其转换为 MLX 格式后，视觉理解和文本生成功能均可在本地运行。该模型在 128GB Apple Silicon 机器上，4bit 量化版本支持 32K 上下文，生成速度超过 53 tokens/s。实测中，模型能快速准确地从截图中提取结构信息和关键元素。这一更新将高质量视觉语言任务从云端迁移到个人 Mac，兼顾隐私、速度和零额外费用，推动本地多模态 AI 进入实用阶段。
AI 翻译 · 中文
开发者 Ivan Fioravanti 在 mlx-vlm 项目中新增了对 Step 3.7 Flash 模型的支持，将其转换为 MLX 格式后，视觉理解和文本生成功能均可在本地运行。该模型在 128GB Apple Silicon 机器上，4bit 量化版本支持 32K 上下文，生成速度超过 53 tokens/s。实测中，模型能快速准确地从截图中提取结构信息和关键元素。这一更新将高质量视觉语言任务从云端迁移到个人 Mac，兼顾隐私、速度和零额外费用，推动本地多模态 AI 进入实用阶段。
我今天刷到Ivan Fioravanti在mlx-vlm项目里的更新。 Step 3.7 Flash模型正式加进去了。 转换到MLX之后，视觉理解和文本生成全部跑通。 这个模型速度特别快。 4bit量化版本在128GB Apple Silicon机器上就能支持32K上下文。 他直接在Mac Studio上测了benchmark，生成速度达到53 tokens/s以上。 拿一张截图让它分析，模型把结构信息、关键元素提取得又快又准。 以前我…