阿里又整活!跳舞AI来了,一张照片就能实现

点击下方👇👇公众号卡片:程序员老鬼,回复关键字:chatgpt 获取插件安装文件和ChatGPT资料合集


阿里最近推出的一个新玩意儿——DreaMoving。这可不是普通的产品,而是一个能让照片里的人物跳舞的AI技术。没错,就是这么神奇!


什么是DreaMoving?


DreaMoving是一个基于扩散模型的人类舞蹈视频生成框架。它能够根据指导序列和简单的内容描述(文本提示、图像提示或二者结合)生成高质量、高保真度的舞蹈视频。


想象一下,只需要一张照片或一些简单的文字描述,你就能生成一个人物在任何场景下跳舞的视频。未来再也不怕没有视频素材了,各种舞蹈,随手拈来。

功能亮点


人物定制: 可以指定任何特定人物(名人、朋友或任何形象)在任意背景下跳舞。


场景多样: 从真实地点(如海滩、城市街道)到虚构场景,都可以作为跳舞背景。


动作控制: 用户可以指定视频中的舞蹈动作和姿势,完全按照自己的想法来创造。


技术原理


DreaMoving的运作原理非常有趣。它基于Stable-Diffusion模型构建,包含以下几个关键部分:

  • 去噪U-Net:用于生成高质量的视频帧。
  • 视频控制网(Video ControlNet):控制视频的动态部分,比如舞蹈动作。
  • 内容引导器(Content Guider):控制生成视频的内容,包括人物外观和背景。


为了训练这个模型,团队收集了大约1000个高质量的人类舞蹈视频,最终得到约6000个短视频片段。这些片段帮助AI学习如何生成自然流畅的舞蹈动作。

用户体验


DreaMoving的用户体验设计得十分友好。你可以通过以下方式来控制视频内容:

  • 文本提示:描述视频的场景、人物动作或特定主题。
  • 参考图像:指定视频中人物的外观,如上传人脸图像来确保视频中的人物具有相似的面部特征。
  • 姿势序列:提供特定的舞蹈动作序列,控制视频中的舞蹈风格和动作。
  • 衣物图像:如果需要,还可以指定视频中人物的服装样式。


实际应用


想象一下,你只需上传一张朋友的照片,就可以看到他在巴黎铁塔下或是月球表面翩翩起舞。

这种技术不仅在娱乐领域有巨大的潜力,在广告、教育甚至是虚拟现实中都有广泛的应用前景。


结语


阿里的这个跳舞AI,不仅仅是技术上的一次突破,更是开启了一种全新的娱乐体验。

虽然目前还处于初期阶段,但未来的可能性无限。让我们拭目以待,看看DreaMoving将如何改变我们的娱乐和生活方式。

在科技不断发展的今天,或许有一天,我们每个人都能成为自己生活故事中的舞蹈明星。

项目地址:https://dreamoving.github.io/dreamoving/
论文:https://arxiv.org/abs/2312.05107


扫描上方方二维码,购买ChatGPT实战课程送ChatGPT独享账号!


并且课程包含超多ChatGPT前沿玩法,帮助大家熟练掌握ChatGPT!