AITOP

视频生成

共 509 条相关 AI 资讯 · 查看话题观测
6月13日
13:26
6月12日
20:46
20:46IT之家（博客/媒体）
字节跳动旗下火山引擎与香港电视广播有限公司（TVB）达成深度合作，将围绕豆包视频生成模型Seedance 2.0的应用落地，在影视内容智能化生产、短剧制作、IP商业化探索及云基础设施建设等方面展开合作。双方将协同TVB旗下FF工作室，以AI短剧为契机，利用Seedance 2.0的视频生成能力，探索AI在短剧创作和制作流程中的应用。此外，火山引擎还将为TVB提供虚拟机、对象存储、网络资源、云数据库、视频云、CDN内容分发等云产品与服务。这标志着视频生成模型在传统影视行业的首次大规模落地尝试。
AI产品视频生成Seedance 2.0TVB
推荐理由：传统电视台终于开始拥抱AI视频生成——TVB与火山引擎的合作让Seedance 2.0有了真实影视场景的落地机会，做短剧、影视内容的团队值得关注，看看AI能否真正改变制作流程。
原文
09:25
09:25官方账号arXiv cs.AI@Jiwen Liu, Shujuan Li, Zhixue Fang, Xiaohan Li, Yan Zhou, Zijie Meng, Zhimin Zhang, Yawen Luo, Guoxin Zhang, Yu-Shen Liu, Pengfei Wan
OmniDirector 提出了一种通用相机运动表示方法，将相机参数编码为网格运动视频，从而支持多镜头视频生成。该框架在百万级相机网格-视频对上训练，能够协调角色、动作和相机，提供导演级别的控制。它设计了一种分层提示扩展代理，通过理解信号关系系统描述相机运动和视觉内容，实现不同控制信号的和谐集成。实验表明，OmniDirector 在复杂相机运动克隆任务上表现优异，解决了现有方法依赖配对数据且性能不佳的问题。
论文相机运动克隆视频生成多镜头
推荐理由：做视频生成和相机运动控制的团队终于有了一个无需配对数据就能克隆多镜头相机运动的方案——OmniDirector 用网格运动视频统一了相机表示，直接在百万级数据上训练，效果比依赖合成配对数据的方法好很多，做视频编辑和影视制作的开发者值得关注。
原文
01:05
00:41
6月11日
00:19
00:19HeyGen@HeyGen_Official
HeyGen 宣布其 AI 视频生成服务可通过 Stripe Projects 被 AI 代理自动发现、配置、存储凭证并支付，整个过程无需用户注册、粘贴 API 密钥或人工干预。这意味着开发者构建的 AI 代理现在能自主调用 HeyGen 生成视频，实现完全自动化的视频内容生产流水线。该集成降低了 AI 代理使用视频生成能力的门槛，为自动化营销、内容创作等场景提供了新可能。
AI产品AI 代理Stripe ProjectsHeyGen
推荐理由：做 AI 代理或自动化工作流的开发者终于可以省去手动配置 API 的麻烦——HeyGen 与 Stripe Projects 的集成让视频生成变成代理的自主能力，建议试试这个零人工介入的方案。
原文
6月10日
04:19
03:48
03:40
6月9日
15:22
13:11
13:11官方账号arXiv cs.LG@Wayne King, Zeyue Xue, Yuxuan Bian, Jie Huang, Haoran Li, Yaowei Li, Yaofeng Su, Yuming Li, Haoyu Wang, Shiyi Zhang, Songchun Zhang, Yuwei Niu, Sihan Xu, Junhao Zhuang, Haoyang Huang, Nan Duan
Echo-Memory 是一项针对动作条件世界模型中记忆机制的受控研究。这类模型根据首帧、文本提示和相机动作序列生成多段视频，但其主要失败点往往是记忆而非局部图像合成：当相机离开再返回时，场景或关键物体可能悄然改变。现有记忆设计难以比较，因为增益与骨干网络、训练、检索和评估差异纠缠不清。Echo-Memory 固定了动作到视频的接口，仅改变历史信息的存储和读取方式，在共享的视频扩散骨干、优化器、相机动作表示、采样器和评估流程下，比较了原始上下文、基于压缩的记忆、不同读取路径的空间摘要以及状态空间循环。研究通过三分支协议（回放质量、域内循环重访和开放域返回探测）评估记忆，发现回放保真度不足以作为记住世界的代理指标。主要结论包括：原始上下文是强大的容量基线，能显著提升开放域返回性能；紧凑性不能替代容量；块状状态空间循环是最强的开放域返回机制。
论文世界模型记忆机制视频生成
推荐理由：做视频生成或世界模型研究的团队，这篇论文帮你拆解了记忆机制中容量、压缩、读取和循环四个关键维度，看完能直接指导你的模型设计。
原文
05:45
6月6日
07:43
07:43官方账号快手可灵 Kling@Kling_AI
Kling AI 在2026年6月6日庆祝成立两周年，宣布过去一年内完成了26次模型迭代，全球用户数突破1亿，企业客户接近5万家。该平台持续赋能各行业创作者，推动创意落地。Kling AI 强调其不断进化、扩展和创造的理念，感谢用户支持，并展望更多可能性。
AI产品Kling AI视频生成模型迭代
推荐理由：Kling AI 一年迭代26次，用户破亿，证明其视频生成能力持续领先。做内容创作或视频生成的团队，值得关注其最新进展。
原文
01:42
6月5日
21:13
07:18
01:16
6月4日
16:30
07:43
01:57
01:57Paul Couvert@itsPaulAi
Google 发布了 frame.md，这是 design.md 的视频版本，旨在让 AI 代理能够根据品牌规范生成视频。design.md 此前已用于保持屏幕上的品牌一致性，但应用到视频时，代理会将其转回网页和幻灯片。frame.md 解决了这一问题，它教会代理如何制作品牌视频，用户只需将 design.md 转换为 frame.md 即可。这一创新有望简化视频内容创作流程，尤其适合需要大量品牌视频的团队。
AI产品Googleframe.md视频生成
推荐理由：做品牌视频的团队终于有了 AI 可读的规范——frame.md 让代理直接生成符合品牌调性的视频，省去反复调整的麻烦，建议内容创作者和营销团队点开看看。
原文
6月3日
22:39
22:39IT之家（博客/媒体）
京东发布并开源了 JoyAI-Echo 长音视频生成框架，解决了长视频生成中角色身份、声音不一致和生成速度慢的行业难题。该框架内置记忆库，可在多镜头中保持角色外观和音色一致，实测 5 分钟视频无崩坏。通过 DMD 技术实现约 7.5 倍推理加速，并支持对话式编辑，用户可直接用自然语言修改镜头，无需重跑整条视频。京东官方称该框架已进入全球第一梯队，项目已开源在 GitHub。
AI产品视频生成开源/仓库京东
推荐理由：长视频生成领域终于有了能保持角色一致的开源方案，做视频生成、影视制作的团队可以直接拿来用，省去大量后期修复时间。
原文
16:11
16:11IT之家（博客/媒体）
字节跳动火山引擎的 MaaS 业务营收目标在 2026 年已上调至 150 亿元，是 2025 年实际营收的 10 倍。其中，视频生成模型 Seedance 2.0 单月营收已超过 10 亿元，且仍在增长，而该模型 API 尚未在海外全量上线。Seedance 2.0 在多项指标上超越海外顶尖视频模型，字节还计划发布质量提升 20% 的 2.1 版本。这一数据表明，字节在 AI 视频生成领域的商业化能力正在快速释放。
AI产品字节跳动Seedance 2.0视频生成
事件专题
推荐理由：视频生成模型商业化迎来里程碑——Seedance 2.0 单月营收超 10 亿，说明 AI 视频 API 已从概念走向真金白银。做视频生成、内容创作或云服务的团队值得关注，字节的定价和增长策略可能成为行业风向标。
原文
6月2日
17:46
17:46rohanpaul_ai@rohanpaul_ai
76°
LongCat 发布了 WBench，一个用于测试视频世界模型的基准，将测试重点从视觉质量转向控制、多轮记忆、指令遵循和物理合理性。WBench 包含 289 个案例、1058 次交互、20 个模型、5 个维度和 22 个自动指标，覆盖导航、主体动作、事件编辑、视角切换等。测试发现，没有模型在所有维度上占优，视觉质量与控制能力几乎无关。WBench 的设计将世界设置与用户动作分离，帮助研究者定位失败原因。这标志着视频世界模型评估从“视频好不好看”转向“模型能否维持可控世界”。
论文视频生成世界模型基准测试
推荐理由：做视频生成或世界模型的研究者终于有了正经的评估工具——WBench 把视觉质量和控制能力分开测，看完你会明白为什么很多漂亮视频其实不能当世界模型用。
原文
12:10
12:10Latent.Space@latentspacepod
精选
Ethan He 在 Latent Space 播客中分享了对视频生成、世界模型、LLM、智能体和持续学习的看法。他认为视频模型的大部分智能来自语言而非视频数据，idea-to-code 的速度已经很快，瓶颈在于计算资源。他强调迭代速度在模型开发中几乎压倒一切，下一个飞跃将是视频智能体而非更好的视频模型。他还预测扩散模型将成为 AGI 的前端，LLM 作为后端，生成式 UI 将取代 HTML/CSS，物理具身可能成为强大 AI 的工具。
AI模型视频生成世界模型智能体
推荐理由：Ethan He 对 AI 前沿的预判直击要害，做视频生成、智能体或世界模型的开发者看完会有启发——尤其是关于迭代速度和智能体方向的洞察，值得点开细品。
原文
11:11
11:11官方账号arXiv cs.AI@Jingyun Liang, Min Wei, Shikai Li, Yizeng Han, Hangjie Yuan, Lei Sun, Weihua Chen, Fan Wang
该研究提出一种无需渲染的框架，通过将3D人体网格压缩为token，直接输入DiT架构的视频扩散模型，实现精确的人体运动控制。相比依赖2D渲染引导的现有方法，该方法避免了视角依赖伪影和轨迹-姿态不匹配问题。实验表明，该框架在人体运动控制基准上表现优异，证明视频扩散模型通过网格token化能更好地理解3D结构。这项工作为3D感知视频生成提供了新思路。
论文视频生成3D人体运动控制网格token化
推荐理由：做视频生成或3D人体动画的团队终于有了不依赖渲染的精准控制方案——直接压缩3D网格token，避免2D引导的伪影问题，建议做运动控制或虚拟人应用的开发者点开看看。
原文
09:59
09:59LovartAI@lovart_ai
Lovart平台发布教程，展示如何结合OpenAI的GPT Image 2图像生成模型与Seedance 2.0视频生成工具，制作动漫风格的美食短视频。教程从生成静态美食图像开始，再通过Seedance 2.0将其转化为动态短片，实现从图片到视频的完整工作流。该方法降低了动漫风格视频创作的门槛，适合内容创作者和短视频爱好者快速产出高质量素材。Lovart作为集成平台，简化了多工具协作的流程，让用户无需编程即可完成创作。
AI产品GPT Image 2Seedance 2.0Lovart
事件专题
推荐理由：想做动漫风美食短视频但不会画图？这个教程用GPT Image 2出图+Seedance 2.0动起来，两步搞定，内容创作者可以直接抄作业。
原文
09:53
6月1日
17:51
10:31
10:31官方账号arXiv cs.AI@Ruotong Liao, Guowen Huang, Qing Cheng, Guangyao Zhai, Lei Zhang, Xun Xiao, Thomas Seidl, Daniel Cremers, Volker Tresp
TunerDiT 提出了一种无需额外训练的多事件视频生成方法，通过分析扩散变换器（DiT）的去噪轨迹，发现文本条件从全局布局到细节的转变点。该方法包含两个关键组件：事件分区掩码（强制事件边界并允许过渡带）和跨事件提示融合（注入相邻事件语义进行后期细化）。在自建的多事件基准测试 Meve 上，TunerDiT 在 8 个指标上达到最优，并能在视频一致性和事件分离之间进行可调权衡。随着事件数量增加，文本对齐性能提升，显示出扩展潜力。
论文扩散模型视频生成多事件生成
推荐理由：做视频生成的研究者或开发者，如果被长视频多事件生成的一致性困扰，TunerDiT 的零训练方案直接可用，值得关注其事件边界控制与提示融合的设计。
原文
10:29
10:29官方账号arXiv cs.AI@Jiazheng Xing, Hangjie Yuan, Lingling Cai, Xinyu Liu, Yujie Wei, Fei Du, Hai Ci, Tao Feng, Jiasheng Tang, Weihua Chen, Fan Wang, Yong Liu
Lumos-Nexus 是一种训练高效的统一视频生成框架，解决了将高保真生成器集成到统一训练循环中计算成本过高的问题。它采用两阶段设计：训练时仅用轻量级生成器与理解模块对齐，学习推理驱动的语义控制；推理时通过统一渐进频率桥接（UPFB）在共享潜在空间中将生成任务逐步交给高容量预训练生成器，实现从粗到细的优化，生成高保真视频而不牺牲推理质量。为填补推理驱动视频生成基准的空白，团队引入了 VR-Bench 评估模型将推断意图转化为连贯视频的能力。实验表明，Lumos-Nexus 在 VBench 上显著提升了视觉真实感和时间连贯性，在 VR-Bench 上展示了强大的推理生成性能。代码和模型已开源。
论文视频生成统一模型推理驱动
推荐理由：视频生成领域终于有了兼顾推理能力和视觉保真度的方案，做视频理解与生成统一模型的团队可以直接参考其两阶段设计，省去大量训练成本。
原文
08:33
08:33berryxia@berryxia
一条推文指出，许多每月付费的AI工具、Bloomberg终端、交易系统等，本质是资本维持稳定收入的机制。GitHub上已有10个开源项目可替代这些付费产品，涵盖对冲基金、交易系统、金融终端、AI聊天、视频工作室、虚拟主播、广告生成、邮件管理、浏览器和视频制作。这些项目免费、功能强大、支持自托管，让用户完全掌握数据和控制权。例如，Fincept Terminal可替代Bloomberg，LibreChat可自托管多模型AI聊天，Open Higgsfield AI集成多种图像和视频生成模型。
AI产品开源/仓库金融工具AI聊天
推荐理由：想省掉每月订阅费、又不想被厂商锁定的开发者和金融从业者，这10个开源项目直接给你机构级工具，建议收藏试玩。
原文
5月31日
23:09
16:38
09:03
09:03lmarena.ai@lmarena_ai
72°
xAI 的 Grok-Imagine-Video-1.5-Preview 在图像转视频竞技场中排名第一，相比前代 Grok-Imagine-Video 提升了 52 分，超越了 Seedance-2.0 和 HappyHorse 等顶级模型。该模型支持 720p 分辨率输出，标志着 xAI 在视频生成领域的重大突破。这一进展表明 AI 视频生成竞争正加速，xAI 已跻身第一梯队。
AI模型xAIGrok视频生成
推荐理由：做视频生成或关注多模态模型的开发者值得关注——Grok 视频模型首次超越主流竞品，意味着又多了一个高性价比选择，建议去竞技场实测对比效果。
原文
5月30日
11:04
10:12
10:12lmarena.ai@lmarena_ai
精选78°
阿里Wan团队开发的Wan2.7-t2v-2026-04-25模型在Text-to-Video Arena中排名第三。该模型不仅是一个视频生成器，更是一套导演级工具套件，支持通过文本、图像、音频和视频进行多模态控制，可定制多达5个角色参考输入和语音配置，并具备视频编辑、克隆、重风格化、续写等全栈创作能力。在视觉保真度、运动稳定性和提示遵循方面有持续改进。这一成绩标志着中国团队在AI视频生成领域的重要突破。
AI产品视频生成多模态控制阿里Wan
推荐理由：阿里Wan2.7把视频生成从单一工具升级为导演套件，做视频创作、影视后期或AI内容生产的团队可以直接拿来用，多模态控制和角色定制功能尤其实用。
原文
02:18
00:08
5月29日
11:42
11:07
11:07官方账号arXiv cs.AI@Chong Bao, Shichen Liu, Lijun Yu, David Futschik, Stylianos Moschoglou, Shefali Srivastava, Ziqian Bai, Feitong Tan, Guofeng Zhang, Zhaopeng Cui, Sean Fanello, Yinda Zhang
精选
浙江大学团队提出 Archon，一个完全预训练的统一多模态模型，用于生成包含文本、音频、动作和视觉内容的完整数字人。该模型通过模态专用分词器和原生自回归架构，统一了七种模态，并在 72 个任务上预训练以建模联合分布。为解决高保真对话视频中的 token 爆炸问题，Archon 引入了一种内存高效的语义视频重参数化方法，实现 4 倍 token 压缩同时保留精细动态，并配合语义驱动的视频扩散解码器。此外，提出的“模态思考”机制将模糊的跨模态任务分解为逐步推理，提升了生成保真度和可控性。实验表明，Archon 在多种数字人生成任务上达到或超越现有水平。
论文数字人多模态模型视频生成
推荐理由：做数字人、虚拟角色或交互式 AI 的团队终于有了一个统一框架——Archon 把文本、音频、动作、视频全打通了，不用再拼凑多个模型，做沉浸式体验的开发者可以直接参考其架构。
原文