栏目导航

news

市场分析

主页 > 市场分析 >

ECCV 2022最新开源!给1万帧视频做目标分割显存占用还不到14GB

发布日期:2022-08-09 03:07   来源:未知   阅读:

  原标题:ECCV 2022最新开源!给1万帧视频做目标分割,显存占用还不到1.4GB

  要知道,当下基于注意力机制的同类方法,甚至都不能在普通消费级显卡上处理超过1分钟的视频。

  这就是伊利诺伊大学厄巴纳-香槟分校学者最新提出的一种长视频目标分割方法XMem。

  目前已有的视频对象分割方法非常多,但是它们要么处理速度比较慢,要么对GPU要求高,要么精度不够高。

  不仅能对长视频快速进行对象分割,画面帧数可达到20FPS,同时在普通GPU上就能完成。

  而长期内存也饱和时,会随着时间推移忘记过时的特征;一般来说这会在处理过数千帧后才会饱和。

  通常,对视频目标进行分割会给定第一帧的图像和目标对象掩码,然后模型会跟踪相关目标,为后续帧生成相应的掩码。

  一个查询编码器(Query encoder)用来追踪提取查询特定图像特征。

  一个解码器(Decoder)负责获取内存读取步骤的输出,以生成对象掩码。

  一个值编码器(Value encoder)可以将图像和目标的掩码相结合,从而来提取新的内存特征值。

  他现在是伊利诺伊大学厄巴纳-香槟分校的助理教授,博士毕业于苏黎世联邦理工学院。