AI产品精选

safetensors v0.8.0 在 Apple Silicon 上直接加载到 Metal

Timely development: On Apple Silicon, safetensors v0.8.0 now loads to Metal directly 🔥 Tensors ar...

精选理由

Apple 用户加载模型更快

AI 摘要

safetensors v0.8.0 在 Apple Silicon 上支持将张量直接加载到 Metal 的 MTLBuffer 中。通过 DLPack 协议,可无缝传递给 PyTorch 等框架。相比之前版本,跳过了不必要的内存拷贝,提升了推理效率。该更新适用于所有使用 safetensors 的 Apple Silicon 用户。

AI 翻译 · 中文

safetensors v0.8.0 在 Apple Silicon 上支持将张量直接加载到 Metal 的 MTLBuffer 中。通过 DLPack 协议,可无缝传递给 PyTorch 等框架。相比之前版本,跳过了不必要的内存拷贝,提升了推理效率。该更新适用于所有使用 safetensors 的 Apple Silicon 用户。

Julien ChaumondTimely development: On Apple Silicon, safetensors v0.8.0 now loads to Metal directly 🔥 Tensors are directly loaded in an MTLBuffer and handed to the frameworks that support it (i.e. @pytorch ) via DLPack, skipping needl