Facebook的人工智能研究团队开发了一个名为Vid2Play的人工智能系统，可以从真实人物的视频中提取可操作的角色，神经网络可以分析并执行玩家指定操作对象的随机视频，然后在任何环境中重新创建角色和动作，并允许玩家使用操纵杆控制它们。
该团队使用了两个名为Pose2Pose和Pose2Frame的神经网络。首先，视频被输入Pose2Pose神经网络，该网络专为舞蹈，网球或击剑等特定类型的动作而设计。系统随后计算出人与背景进行比较的位置，并将人物和人物的姿势分层。Pose2Frame可以将人，连同他们的阴影和他们所持有的任何物体，插入到游戏的新场景中。玩家就可以使用手柄或键盘根据视频中的姿势控制其移动。
玩家只需几个简短的视频，如击剑、跳舞和网球主题的视频来训练系统。系统能够过滤掉其他人并补偿不同的摄像机角度。该研究类似于Adobe的“内容感知填充”（content-aware fill），这项技术也使用AI来移除视频中的元素，如游客或垃圾桶。而NVIDIA公司，也已经建立了人工智能，可以把现实生活中的视频转换为适合游戏的虚拟环境。
目前，AI提取到游戏操作中的人物的动作还不够自然，人物看起来像是在冰上滑，这是3D动画的一个问题，被称为“脚滑”。除此之外，被操纵的人物的运动范围也有限。但AI提取出来的形象和背景都非常逼真。毕竟现在这项技术还处于研究的早期阶段，希望团队可以解决游戏中人物的运动问题。
Facebook的Vid2Game合成技术可以让游戏更加个性化，让玩家可以将自己的角色或喜爱的视频人物插入到游戏中。这套系统解决了之前未完全满足的计算问题，为生成具有逼真图形的视频游戏铺平了道路。
游戏视频演示：
本文参考、整理编译于网络公开来源。并不代表AIPoker的官方观点。
参考整理来源：
https://www.engadget.com/2019/04/19/facebook-ai-game-characters-from-video/
https://www.engadget.com/2019/04/03/adobe-after-effects-content-fill-eraser/