MatAnyone-E:把4K视频抠像速度提升7.4倍的新算法
南洋理工出的视频抠像算法,4K速度提升7.4倍,显存只要原来的十三分之一,RTX 3090就能跑,还会开源。
南洋理工大学S-Lab等团队推出视频抠像算法MatAnyone-E,针对超高清视频抠像运算量过大的问题做了优化。该算法先用低分辨率快速扫描画面,只在发丝边缘等复杂区域做高精度计算,并搭配轻量化解码器。结果显示4K视频抠像速度提升至原先的7.4倍,显存占用降至十三分之一。单张显卡跑原生4K视频可达每秒28帧以上,1080P可达每秒73帧,RTX 3090这类消费级显卡也能流畅运行。项目主页已上线,后续会开源。
MatAnyone-E:高效处理超高清视频抠像的AI算法
常规AI给超高清视频抠像时需要比对前后每一帧的画面细节,导致运算量极大,普通的电脑显卡根本跑不动。
南洋理工大学S-Lab等团队开发的MatAnyone-E算法,先用低分辨率快速扫一遍画面,挑出发丝边缘等复杂区域,只在这些关键位置做高精度计算,其余平整背景直接复用低分辨率的结果,同时给模型配备了轻量化的解码器。
在保证发丝边缘和透明细节完整保留的前提下,算法把4K视频抠像的处理速度提升到了原先的7.4倍,显存占用降到了原先的十三分之一。单张显卡跑原生4K视频能达到每秒28帧以上,跑1080P视频能达到每秒73帧,即使在RTX 3090这样的消费级显卡上也能流畅跑起来。
项目主页(后续会开源):https://t.co/PpqZESd2Gb