Abstract
Introduction
다중객체 추적연구는 비디오의 다중객체를 트래킹하고 프레임에서 위치를 찾는 컴퓨터비전에서 중요한 연구 중 하나이다. 대부분의 사람 또는 차를 타겟으로 하는 트래킹 알고리즘들이 여러 공공 벤치마크에서 훌륭한 성능을 보였다. 그러나 이런 SOTA 알고리즘들도 스포츠 시나리오 등의 더 복잡한 데이터셋에서는 최고의 성능을 보이진 못했다.
보행자나 차량 등을 트래킹하기 위한 알고리즘과 달리 스포츠 시나리오는 몇가지 이유로 인해 더 난이도가 있다.
스포츠 시나리오에선 위 그림과 같이 객체들이 많이 겹치거나 아래 그림과 같이 선수들끼리 팀 색깔이 같거나 야구의 크로스 오버나 풋볼에서 슬라이딩 태클, 배구에서 스파이크 등 예측이 힘든 움직임들을 보인다.
이러한 이유로 이전의 appearance-motion fusion을 활용하거나 간단한 모션기반의 방식들이 스포츠 시나리오와 관련된 벤치마크에서 좋지 않은 성능을 보이고 있다.
이러한 문제를 다루기 위해서 본 연구에선 새롭고 강건한 온라인 방식의 다중객체 트래킹 알고리즘을 제안하며 특히 불규칙적이고 예측이 힘든 모션을 잘 다루기 위해 설계하였다. 이는 이후 나오는 성능지표를 통해 검증하였다. 본 방식은 두개의 큰 공공 벤치마크에서 좋은 성능을 보였으며 온라인 알고리즘을 유지하기 위해 추가적인 컴퓨팅 비용을 요구하지 않는다. 정리하면 본 연구의 공헌은 아래와 같다.
•
ExpansionIoU라 하는 스포츠 시나리오에서 트래킹하는 새로운 배정 방식을 제안하였으며 본 방식은 간단하면서도 효율적이고 불규칙한 움직임과 유사한 외형에 강건하다.
•
스포츠 시나리오에서 강건한 다중객체 트래킹을 위해 재귀적인 스케일업 ExpansionIoU를 딥피쳐 배정과 함께 제안한다.
•
제안한 방식은 SportsMOT데이터셋에서 77.2 HOTA를, SoccrNet-Tracking 데이터셋에서 85.4 HOTA를 달성하였다.