上传一张图片就能生成5秒短视频,腾讯混元图生视频模型上线并开源
潮新闻客户端 记者 鲁佳
3月6日,腾讯混元宣布,腾讯混元图生视频模型上线并开源,用户可以用一张图片生成5秒的短视频。目前用户通过混元AI视频官网(https://video.hunyuan.tencent.com/)即可体验,企业和开发者可在腾讯云申请使用API接口。混元视频生成开源模型目前在Github、HuggingFace等主流开发者社区均可下载体验。
基于图生视频的能力,用户只需上传一张图片,并简短描述希望画面如何运动、镜头如何调度等,混元即可按要求让图片动起来,变成5秒的短视频,还能自动配上背景音效。此外,上传一张人物图片,并输入希望“对口型”的文字或音频,图片中的人物即可“说话”或“唱歌”;使用“动作驱动”能力,还能一键生成同款跳舞视频。
此次开源的图生视频模型,是混元文生视频模型开源工作的延续,模型总参数量保持 130 亿,模型适用于多种类型的角色和场景,包括写实视频制作、动漫角色甚至CGI角色制作的生成。
混元开源技术报告披露,混元视频生成模型具备灵活的扩展性,图生视频和文生视频在相同的数据集上开展预训练工作。在保持超写实画质、流畅演绎大幅度动作、原生镜头切换等特性的基础上,让模型能够捕捉到丰富的视觉和语义信息,并结合图像、文本、音频和姿态等多种输入条件,实现对生成视频的多维度控制。
“转载请注明出处”
上传一张图就能生成短视频,还能让人开口唱歌和跳舞……腾讯混元图生视频发布并开源

3月6日,腾讯混元发布图生视频模型并对外开源,同时上线对口型与动作驱动等玩法,并支持生成背景音效及2K高质量视频。
基于图生视频的能力,用户只需上传一张图片,并简短描述希望画面如何运动、镜头如何调度等,混元即可按照用户要求让图片动起来,变成5秒的短视频,还能自动配上合适的背景音效。此外,上传一张人物图片,并输入希望“对口型”的文字或音频,图片中的人物即可“说话”或“唱歌”;如果选择动作模版,还能一键生成同款跳舞视频。目前用户通过混元AI视频官网(https://video.hunyuan.tencent.com/)即可体验,企业和开发者可在腾讯云申请使用API接口使用。
此次开源的图生视频模型,是混元文生视频模型开源工作的延续,模型总参数量保持 130 亿,适用于多种类型的角色和场景,包括写实视频制作、动漫角色甚至CGI角色制作的生成。开源内容包含权重、推理代码和LoRA训练代码,支持开发者基于混元训练专属LoRA等衍生模型。目前在Github、HuggingFace等主流开发者社区均可下载体验。
据混元开源技术报告披露,混元视频生成模型具备灵活的扩展性,图生视频和文生视频在相同的数据集上开展预训练工作。在保持超写实画质、流畅演绎大幅度动作、原生镜头切换等特性的基础上,让模型能够捕捉到丰富的视觉和语义信息,并结合图像、文本、音频和姿态等多种输入条件,实现对生成视频的多维度控制。
混元视频生成模型开源以来,一直保持较高的热度,去年12 月登顶huggingface全站趋榜第一,目前Github平台上Star数超过8.9K。多位开发者自发制作基于社区Hunyuanvideo的插件与衍生模型,积累超过 900 个衍生版本。更早开源的混元DiT文生图模型,在国内外衍生模型数量多达1600多个。
目前,混元开源系列模型已经完整覆盖文本、图像、视频和3D生成等多个模态,在Github 累计获得超 2.3 万开发者关注和star。
雅菲 小风
校对 陶善工
相关问答
朋友圈那些可以放自己的头像、还有配音的有趣小视频是怎么做出来的?
我也见过朋友圈有人发过这样有趣的视频,其实他们的那些动画头像还有搞笑配音的小视频制作超级简单,都是套用的模版。我个人比较喜欢微大圣这款小视...
短视频怎样发出去才是自己的头像?
短视频要想发到自己的头像里,需要进行以下步骤:可以通过将短视频上传至个人社交媒体账号或分享至朋友圈,再按照平台的相关设置将其设为个人头像。个人社交媒体...
微信的小视频怎么拍的_懂视生活
首先打开并登录微信,点击好友头像进入聊天界面,然后点击右下角加号,最后点击拍摄即可拍摄小视频。...首先打开并登录微信,点击好友头像进入聊天界面,然后点击...
微信视频怎么录制_懂视生活
首先打开并登录微信,点击好友头像进入聊天界面,然后点击右下角加号,最后点击拍摄即可拍摄小视频。...首先打开并登录微信,点击好友头像进入聊天界面,然后点击...
短视频怎样做人物漫画头像logo?
制作短视频人物漫画头像LOGO可以分为以下几个步骤:1.**确定主题**:首先需要确定漫画头像的主题,这应该与你的短视频内容相关。2.**收集素材**:收集你想要...
怎么把动态视频弄到钉钉头像上去看-ZOL问答
6条回答:【推荐答案】、首先点击打开“钉钉”,在“更多”界面点击“用户账号”。2、在界面点击“头像”,弹出窗口点击“从手机相册选择”,在相册选择图片点击一...
为何会有抖音是自己的头像,还发自己视频给自己-ZOL问答
抖音是一款视频社交软件,可以让用户自由发挥创意,分享短视频,连接更多有趣的朋友。用户可以自行选择头像,发布视频到抖音,也可以发到自己的朋友圈,或者朋友间进...
如何下载在线短视频(保证有声音或图像)?
在头条或西瓜视频中,想保存哪个视频,就点击共视频画面,在画面下行会出现“分享”,点击分享发到自己的微信或朋友圈。想保存就再从发到微信中的视频收藏、转发...
抖音怎么弄往日头像-业百科
抖音怎么弄往日头像,1、进入抖音我页面,点击头像;2、新弹出的窗口,点击使用原头像;3、返回到主页面,即可看见原始头像。抖音App是一款社交类的软件,通过抖音短视...
抖音仔仔怎样设置头像-ZOL问答
点击更新头像就可以拥有动态头像了,还能设置心情等。抖音最近上线了仔仔玩法,开启抖音仔仔后,我们就可以自定义虚拟人物,并将其设置为自己的动态头像显示了。...
