MiniMax 把能处理多模态上下文的视频模型直接开源了，最长生成 15 秒 2K 带立体声的视频，比一般文生视频强在能看懂图片、音频和视频混合输入。
MiniMax 于 8 月 3 日开源新一代通用视频模型 H3，支持文本、图像、视频、音频统一理解与生成。H3 可输出最高 2K 分辨率、15 秒时长、32kHz 立体声音频的视频，帧率为 24 FPS。其输入规格包含 H3-Base-FL2VA 首尾帧模式和 H3-Base-Ref2VA 全模态参考模式，后者最多支持 9 张图像与 3 段视频。H3 稳定支持中英阿法等 11 种语言，完整系统由 H3-Context-IR、H3-Base 和 H3-Regenerate-2K 三模块组成。
通用视频模型 MiniMax H3 正式开源，支持多模态上下文、2K 分辨率
IT之家 8 月 3 日消息，今日 MiniMax 正式开源新一代通用视频模型 MiniMax H3。 据介绍，MiniMax H3 是一个通用型全模态生成系统。它能够统一理解由文本、图像、视频和音频构成的多模态上下文，并可生成最高 2K 分辨率、最长 15 秒、带有原生立体声音频的视频。得益于以任务泛化为导向的系统设计，H3 在预训练阶段便已具备广泛的多模态上下文理解与生成能力，因此能够出色地遵循复杂的多模态指令。 IT之家注意到，H3 支持以下输入与输出规格： 输出时长：4–15 秒 输出宽高比：支持多种宽高比，包括但不限于 21:9、16:9、4:3、1:1、3:4 和 9:16 输出分辨率：支持多种分辨率尺寸，默认将较短边设置为 768 像素。使用 H3-Regenerate-2K 可实现 2K 分辨率生成 输出帧率：24 FPS 输出音频：32 kHz 立体声 支持的对话语言：稳定支持 11 种语言：阿拉伯语、中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语。对于其他语言，也提供不同程度的支持。 模型版本与输入规格： ① H3-Base-FL2VA 首尾帧模式： 支持输入 0 张、1 张或 2 张图像： 不输入图像时，为文生视频模式； 输入首帧图像时，为首帧生视频模式； 输入尾帧图像时，为尾帧生视频模式； 同时输入首帧和尾帧图像时，为首尾帧生视频模式 ② H3-Base-Ref2VA 全模态参考模式： 图像： 最多 9 张； 视频： 最多 3 段；每段时长须为 2–15 秒，总时长不超过 15 秒； 音频： 最多 3 段。音频必须与图像或视频一同输入，不能作为唯一输入；每段时长须为 2–15 秒，总时长不超过 15 秒； 混合输入： 所有类型输入文件合计最多 12 个 完整的 H3 系统由以下三个模块组成： H3-Contex t-IR： 随着输入日益复杂，我们构建了一套专门的系统，用于深入理解和提炼输入的多模态指令，并将其转换为 H3 更易于理解、可直接用于生成的形式，即 Context Intermediate Representation（上下文中间表示）。H3-Context-IR 对最终输出质量非常重要。因此我们强烈建议将 H3-Context-IR API 接入生成流程。或者，可参考提示词指南搭建自己的上下文处理系统。 H3-Base ： 根据 H3-Context-IR 的输出生成音频和视频，并输出 768p 分辨率的结果。 H3-Regenerate-2K ： 将 768p 的生成结果连同原始上下文一并送回 H3，以 2K 分辨率重新生成输出。这既发挥了 H3 强大的生成能力，又充分利用了原始上下文中蕴含的丰富信息，从而生成细节更准确、视觉保真度更高的高分辨率结果。 MiniMax H3 基于 MiniMax H3 Community License 发布。