点击下方👇👇公众号卡片:程序员老鬼,回复关键字:chatgpt 获取插件安装文件和ChatGPT资料合集
阿里最近推出的一个新玩意儿——DreaMoving。这可不是普通的产品,而是一个能让照片里的人物跳舞的AI技术。没错,就是这么神奇!

什么是DreaMoving?
DreaMoving是一个基于扩散模型的人类舞蹈视频生成框架。它能够根据指导序列和简单的内容描述(文本提示、图像提示或二者结合)生成高质量、高保真度的舞蹈视频。
想象一下,只需要一张照片或一些简单的文字描述,你就能生成一个人物在任何场景下跳舞的视频。未来再也不怕没有视频素材了,各种舞蹈,随手拈来。功能亮点
人物定制: 可以指定任何特定人物(名人、朋友或任何形象)在任意背景下跳舞。
场景多样: 从真实地点(如海滩、城市街道)到虚构场景,都可以作为跳舞背景。
动作控制: 用户可以指定视频中的舞蹈动作和姿势,完全按照自己的想法来创造。
技术原理
DreaMoving的运作原理非常有趣。它基于Stable-Diffusion模型构建,包含以下几个关键部分:- 视频控制网(Video ControlNet):控制视频的动态部分,比如舞蹈动作。
- 内容引导器(Content Guider):控制生成视频的内容,包括人物外观和背景。
为了训练这个模型,团队收集了大约1000个高质量的人类舞蹈视频,最终得到约6000个短视频片段。这些片段帮助AI学习如何生成自然流畅的舞蹈动作。用户体验
DreaMoving的用户体验设计得十分友好。你可以通过以下方式来控制视频内容:- 参考图像:指定视频中人物的外观,如上传人脸图像来确保视频中的人物具有相似的面部特征。
- 姿势序列:提供特定的舞蹈动作序列,控制视频中的舞蹈风格和动作。
- 衣物图像:如果需要,还可以指定视频中人物的服装样式。
实际应用
想象一下,你只需上传一张朋友的照片,就可以看到他在巴黎铁塔下或是月球表面翩翩起舞。
这种技术不仅在娱乐领域有巨大的潜力,在广告、教育甚至是虚拟现实中都有广泛的应用前景。
结语
阿里的这个跳舞AI,不仅仅是技术上的一次突破,更是开启了一种全新的娱乐体验。虽然目前还处于初期阶段,但未来的可能性无限。让我们拭目以待,看看DreaMoving将如何改变我们的娱乐和生活方式。在科技不断发展的今天,或许有一天,我们每个人都能成为自己生活故事中的舞蹈明星。项目地址:https://dreamoving.github.io/dreamoving/论文:https://arxiv.org/abs/2312.05107
扫描上方方二维码,购买《ChatGPT实战课程》,送ChatGPT独享账号!
并且课程包含超多ChatGPT前沿玩法,帮助大家熟练掌握ChatGPT!
