• 목록

일시]
2026.03.24.

[세미나 주제]
Human Pose Estimation and Skeleton-based Action Representation

[발표자]
김정년

[요약]
본 발표에서는 인간 행동 이해를 위한 skeleton 기반 파이프라인의 두 핵심 단계로서 RTMPose와 CrosSCLR를 살펴보았다. RTMPose는 top-down 구조, CSPNeXt backbone, SimCC 기반 좌표 분류를 통해 실시간성과 정확도를 함께 고려한 자세 추정 모델이다. 실제 데이터에 nano 모델을 적용한 결과 기본적인 skeleton 추정은 가능했으나, occlusion 상황에서는 일부 keypoint 누락이 관찰되어 smoothing, tracking, 후처리 보완이 필요함을 확인하였다.
CrosSCLR은 3D skeleton 데이터에서 multi-view consistency를 활용하는 self-supervised representation learning 방법으로, NTU-60과 NTU-120에서 기존 비지도 방법보다 우수한 성능을 보였다. 특히 ablation 결과를 통해 많은 positive를 사용하는 것보다 가장 신뢰도 높은 positive를 선택하는 것이 중요하며, 단순 positive mining보다 embedding context를 함께 반영하는 방식이 더 효과적임을 확인하였다. CrosSCLR은 3D skeleton 기반이으로, 향후에는 2D 데이터를 3D로 확장하거나 CrosSCLR의 핵심 메커니즘을 2D 관점에서 재구성하여 적용해볼 예정이다.

[관련 논문]
- RTMPose: Real-Time Multi-Person Pose Estimation based on MMPose
- 3D Human Action Representation Learning via Cross-View Consistency Pursuit