Introduce
기존의 parametric 혹은 model-based approaches 방법들은 learning-based과 optimization-based를 포함하는 hybrid approach를 사용하였다. 하지만 optimization-based 방법은 local minima에 빠지거나 computational cost가 크다는 단점이 있다.
SPEC는 카메라 파라미터를 예측하기 위한 CamCalib 네트워크를 제안하였지만 이 CamCalib 네트워크를 학습시킬 데이터셋을 얻기 힘들다는 단점이 있다.
반면 최근의 non-parametric(model-free) approaches는 mesh vertices를 직접 회귀하지만 또한 perspective 카메라의 효과를 무시함으로써 parametric과 동일한 한계를 가진다.
본 논문에서는 parametric model의 모든 파라미터를 analytically solving하면서 카메라 파라미터를 통합하는 3D human shape and pose 추정을 위한 PLINKS라는 새로운 방법을 제안한다.
Contribution
Method
전체 파이프라인은 mesh regressor와 PLINKS(Pseudo-Linear Inverse Kinematic Solver) 이렇게 2가지 모듈로 구성된다.
mesh regressor는 입력 이미지로부터 image plane에 정렬된 3D mesh vertices에 대한 매핑을 얻는다. 그리고 ARE(Approximate Rotation Estimator) 모듈은 smpl의 각 joint segment에 대한 월드 좌표계의 rotation 추정을 제공한다. 이를 통해 얻은 값은 PLIKS 프로세스로 전달되어 최종적으로 analytical solution을 통해 재구성된 body mesh를 얻을 수 있다.
Simplified SMPL
SMPL 모델은 본질적으로 선형이지만, forward kinematics과 pose-related shape deformations 로 인해 Inverse Kinematic을 해결하기 위한 선형 방정식 시스템으로 나타낼 수 없다. 그러므로 SMPL을 단순화하여 를 무시할 수 있도록 한다.
아래의 그림과 같이 SMPL 모델을 blend weight에 따라 24개의 segment()로 분할하였다. 이때 각 vertex는 모든 관절 가운데 가장 큰 blend weight 값을 갖는 특정 segment에 속한다.
각 segment는 rigid 3D points로 간주되며, 이를 통해 templet mesh에서 추정 mesh 로 segment orient를 조정하여 ARE를 통해 initial rotation 추정값을 얻을 수 있다.
Pseudo-Linear Inverse Kinematic Solver
(Kinematics: 움직임에 관여하는 힘과 모멘트 등을 고려하지 않은 운동학, Computer Graphics 분야에서는 주로 관절이 존재하는 물체의 Animation을 다룰 때, Kinematics가 적용됨)
Forward Kinematics는 각 관절의 Rotation을 조절하여 원하는 포즈를 만들어낸다. 즉, 각 관절의 각도(포즈)를 입력으로 주어 End Effector의 좌표를 얻어낸다. End Effector는 머리와 각 팔다리(신체 말단)의 끝으로 생각할 수 있다.
Inverse Kinematics은 운동학 방정식을 사용하여 원하는 위치에 도달하기 위한 로봇의 움직임을 파악하는 방법으로, 원하는 로봇의 End Effector 위치가 설정되면 Inverse Kinematics(IK)는 End Effector가 목표 자세로 이동하기에 적합한 관절 구성(각도, 포즈)을 결정할 수 있다.
IK는 FK가 직관적이지 않은 경우에 이를 해결하기 위해 사용되며, 이때 최적의 포즈를 찾기위하여 IK Solver 개념이 등장한다.