资讯专栏INFORMATION COLUMN

吃了这些数据集和模型,跟 AI 学跳舞,做 TensorFlowBoys

dkzwm / 3283人阅读

摘要:最近,这就是街舞第二季开播,又一次燃起了全民热舞的风潮。然而,真要自己跳起来,实际与想象之间,估计差了若干个罗志祥。系统映射结果展示对于系统的结果,研究人员表示还不完美。谷歌在和跳舞的结合上也花了心思。好了,先不说了,我要去跟学跳舞了。

最近,《这!就是街舞》第二季开播,又一次燃起了全民热舞的风潮。

刚开播没多久,这个全程高能的节目,就在豆瓣上就得到了 9.6 的高分。舞者们在比赛中精彩的表演,让屏幕前的吃瓜群众直呼「太燃了!」「惊艳!」,甚至情不自禁跟着音乐抖起来了。

然而,真要自己跳起来,实际与想象之间,估计差了若干个罗志祥。想象中,自己是这样的:

但实际上却是这样的:

对于舞者来说,他们的动作叫做 Hiphop,Breaking,Locking 等等,而对于吃瓜群众来说,就是抖来抖去,滚来滚去,指来指去……

可能这辈子和街舞无缘?还是去跳跳广场舞吧……

等等!先别急着放弃,加州大学伯克利分校的几位大佬,为各位研究了一个 AI「秘密武器」,让你瞬间舞技爆发,成为下一代舞王。

人人都能当舞王

去年 8 月,加州大学伯克利分校的研究人员推出一篇题目为《Everybody dance now》的论文,使用深度学习算法 GAN(Generative Adversarial Networks,生成式 对抗网络 ),可以复制专业表演者的动作,并将动作迁移到任何人身上,从而实现「Do as I do」(舞我所舞)。

先来看复制舞蹈的结果展示,感受一下:

左上角为专业舞者,左下为检测到的姿势,中间和右边是复制到目标人物的生成视频
之前 Deepfake 换脸技术大火,现在竟然整个人都可以「Deepfake」了!我们看一下这个神操作是怎么实现的。

论文中介绍道,迁移动作方法总的分为以下步骤:

给定两个视频,一个是动作源视频,另一个是目标人物视频;

然后使用一种算法,从源视频中检测专业舞者的舞姿,并创建相应运动的火柴人框架;

接着,使用训练的两种生成对抗网络 (GAN)的深度学习算法,创建目标人物的全部图像,并为其生成更清晰、更逼真的视频图像。

最终结果是,该系统可以把专业舞者的身体动作映射到业余舞者的身上。除了模仿动作之外,它还能够完美地虚构人的声音和脸部表情。

黑科技背后原理揭秘

这项黑科技具体原理是这样的,将动作迁移管道一共分为三个部分:

1 姿态检测:

团队使用现有的姿势检测模型 OpenPose(CMU 开源项目),从源视频中提取身体、面部和手部的姿势关键点。这一步的本质是对身体姿势进行编码,忽略掉身体外形等信息。


对舞者进行姿态检测,并编码为火柴人图形

2 全局姿态标准化:

计算给定帧内源和目标人物身体形状、位置之间的差异,将源姿态图形转换到符合目标人物身体形状和位置的姿态图形。

3 从标准化后的姿态图形,推断目标人物的图像:

使用一个生成式对抗网络模型,训练模型学习从标准化后的姿态图形映射到目标人物图像。


训练过程(上)与迁移过程(下)示意图

在开发系统过程中,团队使用了 NVIDIA TITAN Xp 中的 GeForce GTX 1080 Ti GPU,和由 PyTorch 加速的 cuDNN 来训练和推理。

在图像转换阶段,采用了 NVIDIA 开发的对抗训练的图像翻译 pix2pixHD 架构。通过 pix2pixHD 的全局生成器来预测面部残差。他们对面部使用单个 70×70 PatchGAN 判别器。

训练过程中,源视频和目标视频数据的收集方式略有不同。为确保目标视频质量,使用手机相机,以每秒 120 帧的速度拍摄目标主体的实时镜头,每个视频时长至少 20 分钟。

对于源视频,只需要得到合适的姿势检测结果,所以用网上表演舞蹈的高质量视频即可。


系统映射结果展示

对于系统的结果,研究人员表示还不完美。尽管它产生的视频大多还是非常逼真的,但是偶尔也会露出马脚,比如出现身体某部位消失,就像「融化」了之类的异常现象。

此外,由于算法不对衣服编码,无法产生衣服随动作飘舞的视频,目标者必须穿紧身衣服才行。

如果暂且不计较这些缺点的话,这个技术的确令人兴奋。

有了这个 AI 工具,即使你是个舞蹈方面的小白,或者四肢僵硬不协调,也能像郭富城,罗志祥,或者任何你喜欢的舞者那样成为「舞林高手」。即使是杰克逊的太空步,对你来说也都只是小菜一碟了。

不过,拥有一个舞蹈梦的,不止伯克利分校这一个团队。谷歌在 AI 和跳舞的结合上也花了心思。

谷歌 AI 编出舞蹈新花样

去年年底,谷歌艺术与文化部技术项目经理 Damien Henry 与英国编舞家 Wayne McGregor 合作,共同研发了一种能够自动生成特定风格的舞蹈编排工具。

拥有普利茅斯大学名誉科学博士学位的 McGregor ,对科学和技术素来感兴趣。当他回顾自己 25 年来的舞蹈视频时,想到能否通过技术来使表演保持新鲜感。于是他去向 Henry 请教,如何借助技术不断创作出新的舞蹈内容?

而 Henry 从一个科学网站的帖子获得了灵感。这个帖子介绍了使用神经网络,能够用根据前一个字母中的笔迹预测下一个字母。

于是,他提出了一种类似算法,能够对给定运动进行预测。通过视频捕获舞者姿势,然后生成接下来最有可能进行的舞蹈动作,并在屏幕上实时显示。


AI 编舞过程展示

这个算法也同样忽略了人的衣着,只是捕捉演员特定姿势的关键点,从而得出火柴人模型。

当他们录入 McGregor 和他的舞蹈演员的舞蹈视频后,AI 学会了如何跳舞,而且生成的舞蹈风格和 McGregor 的很相似。

虽然在舞蹈创造力上, 人工智能 还是有一定的局限性。这款谷歌 AI 工具并不能发明出它从未「见过」的动作。它只是预测在它学过的动作中,最有可能发生的动作。

此外,这个技术还可以提供混合风格的舞蹈编排,比如在 McGregor 的录像中插入巴西桑巴舞的录像,AI 可能会给出一个全新的混合舞。Henry 并不担心它会给出一个四不像的舞蹈,因为学习的源头还是由人去输入的。

AI 姿态追踪,不止「舞蹈梦」

看了这么多帮你「跳舞」的技术,是不是已经跃跃欲试了呢?

舞蹈 AI 能让不敢动不想动的人,更自在更轻松地动起来,体验舞蹈和运动的乐趣。但这背后的技术可不仅仅只是博人一乐。

支撑起舞蹈 AI 的姿态估计,背后潜藏着巨大的能量,它能够帮助我们更准确地完成形体动作,比如 3D 健身学习、体育项目姿势矫正,病人康复训练,甚至是虚拟试衣,拍照姿势矫正上,都会带来新的突破。


姿态估计的用途广泛

按照这样的发展,机器会越来越了解我们,越来越熟悉我们的体态特征和行为方式,从而帮我们更好地认识自己。

好了,先不说了,我要去跟 AI 学跳舞了。你要不要一起来?

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/20054.html

相关文章

  • 只要5秒就能“克隆”本人语音!美玉姐不再查寝,而是吃起了桃桃丨开源

    摘要:支持格式,噪音等干扰尽可能低上传完录音后,选择需要的合成器声码器,然后在文本框中输出想要合成的语音文本,等待一会儿。业内已经成熟的技术可以实时克隆语音的还有近期的小冰发布会,这都使对语音合成产生了极大的兴趣。 博雯 萧箫 发自 凹非寺量子位 报道 | 公众号 QbitAI 现在,AI已经...

    mozillazg 评论0 收藏0
  • 吴恩达 NIPS 2016唯一的中文版PPT

    摘要:今日,在第届神经信息处理系统大会中,百度首席科学家吴恩达教授发表演讲利用深度学习开发人工智能应用的基本要点。为了方便读者学习和收藏,雷锋网特地把吴恩达教授的做为中文版。吴恩达先讲述了常见的深度学习模型,然后再着分析端到端学习的具体应用。 今日,在第 30 届神经信息处理系统大会(NIPS 2016)中,百度首席科学家吴恩达教授发表演讲:《利用深度学习开发人工智能应用的基本要点(Nuts an...

    yunhao 评论0 收藏0
  • 警惕AI,我搭建了一个“枪枪爆头”的视觉AI自瞄程序,却引发了一场“山雨欲来”

    摘要:前言前段时间在网上看到警惕外挂我写了一个枪枪爆头的视觉,又亲手杀死了它这个视频,引起了我极大的兴趣。人体关节点对应序号因此如果为了自动瞄准头部实现枪枪爆头,仅需要反馈的坐标点就行了。第二个威胁就是无法被外挂程序检测的隐蔽性。 前言 前段时间在网上看到《警惕AI外挂!我写了一个枪枪爆头的视觉A...

    pingink 评论0 收藏0
  • 技术人攻略访谈二十五:运维人的野蛮生长

    摘要:他希望能传递运维的正能量,就和攻略君一起来看这段运维人的拓荒历程吧技术人攻略能否介绍一下你是如何把嵌入式的思想应用到了运维领域我年进大学开始接触,到年加入台湾威盛之前,已经玩了年。showImg(http://segmentfault.com/img/bVb66I);文:Gracia(本文为原创内容,部分或全文转载均需经过作者授权,并保留完整的作者信息和技术人攻略介绍。) 导语:本期采访对...

    Scorpion 评论0 收藏0
  • OCR如何读取皱巴巴的文件?深度习在文档图像形变矫正的应用详解

    摘要:随着深度学习的兴起,有学者提出用深度学习相关算法对扭曲文档图像进行矫正。考虑到实际业务的复杂性,传统方法无法胜任,因此本文结合深度学习语义分割领域的相关知识,针对现有方法的不足提出优化方案,实现扭曲文档的矫正。 一、背景 随着集团业务的高速发展以及集团对用户群体信用要求的提高,证件审核成为业务中必不可少的一个环节。譬如:支付宝需要对用户的身份证信息进行审核,1688需要对卖家的营业执照...

    hzx 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<