元宇宙真的要实现了,英伟达正式开源了超强虚拟角色定制模型CALM

热门头条1年前 (2023)发布 残剑@葫芦娃AI
10.1K 0 0

元宇宙真的要实现了
近日,英伟达正式开源了超强虚拟角色定制模型CALM。

基于此,开发者可以利用AI,零样本生成复杂逼真的动作,简单而自由地控制角色

8月8日,英伟达CEO黄仁勋,再次登上了世界顶级计算机图形学会议SIGGRAPH的舞台,用一系列重磅更新展示了在AI和元宇宙方向上的野心。

而就在最近,被SIGGRAPH 2023收录的CALM模型的正式开源,也让游戏和动画开发直接飙上了AI加持的快车道。

CALM可以自学「人类的动作」,无需额外训练就能自由合成和控制虚拟角色的动作,效果逼真自然。
也许很快整个游戏、动画工业的格局就要彻底改变,而VR场景中的人物和角色也将从此不再生硬,元宇宙可能真的要加速到来了!

具体来说,英伟达联合以色列理工学院、巴伊兰大学和西蒙菲莎大学,共同提出了一种全新的条件对抗潜模型(Conditional Adversarial Latent Models,CALM)。
通过模仿学习,CALM学习到了一种可以捕捉人类动作复杂性和多样性的动作表征,并能直接控制角色的动作。
该方法可以联合学习控制策略和动作编码器,对给定动作的关键特征进行重建,而不仅仅是复制。

结果表明,CALM可以通过学习语义动作表征,对生成的动作进行控制,并且为更高层的任务训练提供风格调整。
训练完成后,用户就可以利用像电脑游戏一样的界面,非常直观地对角色进行控制了。

CALM以对抗性技能嵌入为基础,并借鉴了其代码。
研究人员利用单张A100 GPU,通过在4096个Isaac Gym环境上进行并行训练,共计50亿步。

为了实现零样本任务解决方案,CALM由3个阶段组成:
(1)动作编码器和底层策略(解码器)联合训练,将动作捕捉序列映射为控制模拟角色的动作。
(2)使用潜空间调节训练高层策略,从而实现对执行动作方向的控制,同时保留所需的风格。
(3)将步骤1和2结合起来,使用简单的有限状态机来解决任务,无需进一步训练,也无需精心设计奖励/终止条件。

元宇宙真的要实现了,英伟达正式开源了超强虚拟角色定制模型CALM
元宇宙真的要实现了,英伟达正式开源了超强虚拟角色定制模型CALM

© 版权声明

相关文章

暂无评论

暂无评论...