• 목록

<청취 후기>
세션: Oral Session 15 – Computer Vision and Object Recognition Technologies in Industrial Scenarios

제목: Uncertainty-Weighted Multi-Task Learning for Enhanced Video Assistant Referee System Decision Automation
본 연구는 Video Assistant Referee (VAR) 시스템의 판정 자동화를 위해 video clip 기반 multi-task learning을 적용한 접근을 재조명한 연구였다. 기존 방법들은 반칙 여부(foul)와 심각도(severity)를 단순히 동시에 학습하는 데 초점을 두었으나, 본 연구는 두 task 간 난이도와 데이터 신뢰도의 차이에 주목하여, 특히 noisy label이 존재하는 severity task에 대해 불확실성을 기반으로 학습 가중치를 동적으로 조정하는 설계를 제안하였다. 불확실성을 기반으로 한 학습 전략을 스포츠 판정 자동화와 같은 도메인에 접목했다는 점에서 흥미로운 주제였다.

제목: Learning from Mistakes: Enhancing Smart Camera System Performance via Feedback-based Instruction Tuning
본 연구는 안전 환경에서의 시각-언어 모델(VLM)의 판단 성능을 개선하기 위해, 실패 사례를 활용한 피드백 기반 instruction tuning 접근을 제안한 연구였다. 다양한 형태의 질문-응답(QA) 구조를 설계하여 모델이 보다 깊이 있는 추론을 수행하도록 유도하고, 이를 LoRA 기반 instruction tuning으로 학습함으로써 복잡한 안전 상황에 대한 판단 능력을 향상시키고자 하였다. 또한, 모델이 오판한 사례와 피드백을 중심으로 모델의 학습 과정을 재구성하여 오탐지 감소와 같은 성능 개선을 이끌어냈다는 점에서 인상적이었다.

<발표 후기>
이번 ICIEA 학회에서 "Learning Domain-Robust Representations for Vision Foundation Models"라는 주제로 발표를 진행하였다.
발표 주제는 내가 새로 연구하고 있는 분야인 domain generalization을 CLIP을 활용하여 해결한 연구로, 특히 다양한 도메인 변화에도 강건하게 동작하는 표현 학습 방법을 다루었다.
구체적으로는 CLIP 기반 모델이 이미지와 텍스트를 하나의 embedding으로 표현하는 기존 방식의 한계에 주목하여, 이미지 feature를 content와 style로 분리하고, style 정보를 활용해 텍스트 feature를 residual 방식으로 보정하는 구조를 제안하였다. 또한 AdaIN 기반 feature perturbation을 통해 다양한 스타일 변화를 인위적으로 생성하고, content는 스타일 변화에 불변하도록, style은 변화에 민감하도록 서로 상반된 방향으로 학습시키는 구조를 설계하였다. 이를 통해 도메인 정보 없이도 스타일과 내용을 효과적으로 분리하고, unseen domain에서도 안정적인 성능을 유지할 수 있도록 하였다.
단일 도메인 및 다중 도메인 환경에서의 실험 결과, 기존 CLIP 기반 방법들 대비 전반적으로 우수한 성능을 보인 연구였다.

Q) domain과 style을 동일한 개념이라고 생각하는가?
A) domain과 style이 완전히 동일한 개념이라고 할 수는 없지만, 실제 이미지 데이터에서 domain 차이는 조명, 색감, 해상도, texture와 같은 저수준 통계적 특성의 차이로 나타나는 경우가 많고, 이러한 요소들은 기존 연구에서 style로 해석되는 부분과 상당히 겹친다고 생각합니다. 그래서 본 연구에서는 domain shift의 주요 원인 중 하나를 style variation으로 보고, 이를 feature statistic 기반으로 모델링 가능한 요소로 다루었습니다.

첫 해외 학회 발표라 예상보다 더 긴장되었고, 영어 발표가 아직 익숙하지 않다 보니 전달하고자 했던 내용을 충분히 담지 못하고 일부를 축약해야 했던 점이 아쉬움으로 남았다. 이번 경험을 통해 향후에는 연구 내용을 명확하게 전달할 수 있도록 발표 연습이 더욱 필요하다는 것을 느꼈다. 끝으로, 이러한 소중한 기회를 주신 교수님께 깊이 감사드린다.