MIT 6.S191 (2022): Uncertainty in Deep Learning
페이지 정보

본문
[일시] 2025.10.27
[세미나 주제] Uncertainty in Deep Learning
[발표자] 조연경
[요약]
본 리뷰는 딥러닝 모델의 불확실성 추정과 분포 외 강건성(OOD robustness)을 중심으로, 신뢰 가능한 인공지능을 위한 핵심 개념과 접근법을 다룬다. 단순한 정확도 향상보다 모델이 언제 자신을 신뢰할 수 있는지, 그리고 언제 불확실한지를 인식하는 능력이 중요하다고 강조하며, 실제 환경에서는 학습 분포 밖에서 과도한 확신(overconfidence)이 쉽게 발생함을 지적한다. 이러한 문제를 해결하기 위해 Bayesian 추론, Ensemble, Monte Carlo Dropout, SWAG 등의 불확실성 추정 기법이 제시되며, 계산 효율을 높인 대안으로 BatchEnsemble과 Rank-1 Bayesian Neural Network이 소개된다. 또한 대규모 사전학습(pre-training) 모델이 단순히 정확도를 높이는 것을 넘어, 불확실성과 분포 변화에 대한 강건성까지 향상시킨다는 점을 언급한다. 요약하면, scale의 시대에서 진정한 목표는 높은 정확도가 아니라, 자신이 틀릴 때 이를 인식하고 안전하게 대응할 수 있는 모델을 구축하는 것임을 강조한다.
[녹화 영상 링크]
https://us06web.zoom.us/rec/share/_MnSeM_it8vHRnXNEYF8XlqXcwIakY0OIuqeM4FRoGidzw9pJ3mZIqcYFX640cxl.ndVjBwDcNH_n-Zbf
[세미나 주제] Uncertainty in Deep Learning
[발표자] 조연경
[요약]
본 리뷰는 딥러닝 모델의 불확실성 추정과 분포 외 강건성(OOD robustness)을 중심으로, 신뢰 가능한 인공지능을 위한 핵심 개념과 접근법을 다룬다. 단순한 정확도 향상보다 모델이 언제 자신을 신뢰할 수 있는지, 그리고 언제 불확실한지를 인식하는 능력이 중요하다고 강조하며, 실제 환경에서는 학습 분포 밖에서 과도한 확신(overconfidence)이 쉽게 발생함을 지적한다. 이러한 문제를 해결하기 위해 Bayesian 추론, Ensemble, Monte Carlo Dropout, SWAG 등의 불확실성 추정 기법이 제시되며, 계산 효율을 높인 대안으로 BatchEnsemble과 Rank-1 Bayesian Neural Network이 소개된다. 또한 대규모 사전학습(pre-training) 모델이 단순히 정확도를 높이는 것을 넘어, 불확실성과 분포 변화에 대한 강건성까지 향상시킨다는 점을 언급한다. 요약하면, scale의 시대에서 진정한 목표는 높은 정확도가 아니라, 자신이 틀릴 때 이를 인식하고 안전하게 대응할 수 있는 모델을 구축하는 것임을 강조한다.
[녹화 영상 링크]
https://us06web.zoom.us/rec/share/_MnSeM_it8vHRnXNEYF8XlqXcwIakY0OIuqeM4FRoGidzw9pJ3mZIqcYFX640cxl.ndVjBwDcNH_n-Zbf
첨부파일
-
Uncertainty in Deep Learning.pdf (3.0M)
DATE : 2025-11-02 20:53:59
- 이전글MIT 6.S191 (2020): Neurosymbolic AI 25.11.06
- 다음글MIT 6.S191 (2023): The Modern Era of Statistics 25.10.29
댓글목록
등록된 댓글이 없습니다.