Real-Time High-Resolution Background Matting
华盛顿大学学者提出一种实时的、高分辨率的背景替换技术，在4K分辨率下，该技术的运行速度为30fps，在现代GPU上，高清的运行速度为 60fps。技术是基于背景抠图，其中一帧额外的背景被捕获并用于恢复 alpha matte(前景蒙版)和前景层。
该技术主要的挑战是计算高质量的 alpha matte(前景蒙版)，保留 strand-level 头发细节，同时实时处理高分辨率图像。
为了实现这一目标，作者采用两个神经网络；一个基础网络计算一个低分辨率的结果，结果由第二个网络在高分辨率下对选定的补丁进行完善。还引入两个大规模的视频和图像抠图数据集：VideoMatte240K 和 PhotoMatte13K/85。
与先前最先进的抠图方法相比，该方法可以获得更高质量的结果，同时在速度和分辨率上都有显著提升。
作者称本项工作的目的是通过视频通话中的背景替换，实现创造性的应用，给用户提供更多的隐私选择。对于被用在不法之处，可以通过水印和其他安全技术来缓解。
https://github.com/PeterL1n/BackgroundMattingV2#datasets
该模型为全卷积模型，可以处理任意大小和长宽比的图像。
| 
转播
