生数科技发布Vidu S1实时交互模型,支持实时视频通话与语音控制

支持实时视频通话和语音控制视频走向,生数科技发布 Vidu S1 实时交互模型

精选理由

生数科技新出Vidu S1,语音就能指挥视频里的人物实时变表情动作,像真人对话,还能自定义角色形象和声音,快去试试内测。

AI 摘要

生数科技7月3日发布Vidu S1实时交互模型,支持540P(960x540)分辨率、25FPS帧率(最高42FPS)实时视频通话。用户可通过语音指令控制数字人的表情、动作及视频走向,实现无限时长连续互动。模型采用自回归扩散(AR+Diffusion)路线,基于历史画面和语音指令持续生成后续内容。Vidu S1可基于真人、动漫、萌宠等初始形象及个性化音色创建交互角色,目前已开启内测。

原文 · IT之家

支持实时视频通话和语音控制视频走向,生数科技发布 Vidu S1 实时交互模型

IT之家 7 月 3 日消息,生数科技今日发布面向实时交互场景的新一代模型 ——Vidu S1 实时交互模型。 官方表示,Vidu S1 模型 支持实时视频通话和语音控制视频走向 ,用户不仅能通过语音控制数字人的行为,还能实现无限时长连续互动。 Vidu S1 支持 540P (960x540)高清分辨率、 25FPS 帧率(最高支持 42FPS),可基于真人、动漫、萌宠等任意初始形象及个性化音色,快速创建专属交互角色。 据介绍,Vidu S1 采用 自回归扩散模型 (AR + Diffusion) 路线,不再一次性生成完整视频,而是基于已经生成的历史画面,结合当前语音指令和对话上下文,持续预测并生成后续内容。 当用户发出新的语音指令时,模型可以实时理解并调整角色的表情、动作及后续视频走向,使视频从预先确定的固定内容,转变为一个持续生成、实时响应、动态演化的交互过程。 Vidu S1 已开启内测,IT之家附相关链接如下: 线上体验地址: https://www.vidu.cn/vidu-stream API 体验地址: https://platform.vidu.cn/live/landing