说米网

在视频切割领域，Segment Anything 模型（SAM）被用于探索新的视频目标切割技能。研讨团队测试了两种不同的模型，旨在结合 SAM 的切割才能和光流技能的优势，以进步视频切割的性能。
SAM 与光流结合的模型:第一种模型中，研讨者对 SAM 进行了修正，使其可以直接使用光流数据作为输入，而非传统的 RGB 图画。光流数据可以供给关于图画中物体运动的信息，这关于切割和辨认移动物体特别有用。
image.png
SAM 与 RGB 图画结合的模型:第二种模型则坚持了 SAM 使用 RGB 图画作为首要输入的方式，但引入了光流数据作为辅佐提示，以增强模型对视频中物体运动的辨认和切割才能。
这两种办法都展现了在视频目标切割任务中的潜力，即便没有进行杂乱的修正或优化，也已经在单目标和多目标的视频基准测试中取得了显著的性能提高。
此外，研讨者还探索了将这些根据帧的切割办法扩展到整个视频序列上，以实现对同一物体在视频连续帧中的身份进行追寻。(爱名网)这种序列等级的切割技能可以连续地辨认和追寻视频中的特定目标，即便在物体运动、场景变化或光照条件变化的情况下也能坚持一致性。
这些研讨成果不仅提高了视频切割的精度和效率，并且通过简化模型的设计，降低了计算杂乱度和资源耗费，使得实时视频切割和物体追寻变得愈加可行。这些技能的进展关于视频修改、安防监控、自动驾驶车辆的视觉系统以及许多其他应用场景都具有重要意义。
目前，具体的技能细节、模型性能指标以及未来的研讨方向没有详细发布，但这些开始的研讨成果已经为视频切割技能的开展供给了新的方向和可能性。