随着《这就是街舞》第五季的热播,大家对于舞蹈的热情也在水涨船高不过万万没想到的是,数码厂商OPPO于近日推出了一项与舞蹈有关系的AI技术:「数字分身」与专业的动捕不同,OPPO的「数字分身」仅仅依靠手机就能完成动作采集,而后通过AI建模还原细节,这让没有学过舞蹈的小伙伴也能过一把舞动全场的瘾!。
为了提升「数字分身」创建流程的效率,OPPO自主研发了极具创新性的结构化局部辐射场动态角色建模方法,在业界内率先实现自动为人体宽松着装创建动态数字孪生体的工作,省去了大量的后期工作新研发的AI算法仅通过分析用户手机摄像头记录的RGB视频,即可自动创建用户的「数字分身」,还原身体的动态细节,这是一次跨越式的进步。
在操作层面,OPPO「数字分身」的具体流程分为三步第一步需要模特于OPPO数字分身实验室舒展体态,让位于实验室内不同角度的OPPO Find X5 Pro进行多角度的拍摄记录,这就完成了人体形态的初步数据收集。
相比于全套动捕设备,OPPO实现「数字分身」的方式成本低,效率高同时质量有保证,很有潜力在「元宇宙」时代来临之际大放异彩
完成数据采集之后,第二步就是利用OPPO自研的AI模型进一步分析手机拍摄的RGB数据,计算完成后即可自动生成用户的3D人体模型与传统的2D图片重建方式相比,OPPO新的建模方式误差更小,更接近具体的用户数据。
完成数据收集和建模之后,第三步就是为「数字分身」设计专业的舞蹈动作在这方面,OPPO专门找来了职业舞者,通过动态捕捉,锚定各个舞蹈动作的关节状态,构建了结构化的局部辐射场依据局部辐射场可进而模拟关节周围局部空间形态,跟进身体姿态和服装样式的动态细节变化。
在这套模型逻辑下,神经网络能够掌握很多舞蹈风格,实现不同人群的舞蹈梦不仅如此,这套模型还能持续学习和更新,适应更多的应用场景
在几小时的编码和渲染后,「数字分身」便可完成对舞步的学习。当音乐播放的时候,用户的数字化分身便能跟着音乐节奏完成干净利落的舞蹈动作,同时分身的着装也拥有拟真的物理效果,观感很和谐。
不得不说,OPPO的「数字分身」技术拉近了我们与「元宇宙」的距离,放飞了我们的想象数字化形象是虚拟世界的重要构成部分,OPPO这一技术在下一代的XR融合场景,VR/AR游玩模式潜力满满,让我们拭目以待吧。