• 목록

[일시] 2026.06.30

[세미나 주제] Shapelet Representations for Multivariate Time Series Classification

[발표자] 조연경

[요약]
이번 발표에서는 다변량 시계열 분류(MTSC)에서 shapelet을 현대 딥러닝 모델에 어떻게 활용할 수 있는지를 성능 향상과 해석 가능성의 관점에서 간략히 살펴보았다. MTSC는 여러 변수로 구성된 시계열 데이터를 하나의 class로 분류하는 문제로, 패턴의 시간적 이동, 변수 간 복잡한 상호작용, 그리고 짧은 구간에만 나타나는 특징 등으로 인해 어려움이 존재한다. 이러한 특성 때문에 단순한 전역 패턴만으로는 분류가 어려운 경우가 많으며, 국소적인 패턴을 효과적으로 포착하는 것이 중요하다. Shapelet은 특정 class를 대표하는 짧은 부분 시계열 패턴으로, class 간 구분에 중요한 근거로 활용될 수 있다.

ShapeFormer는 기존 Transformer 기반 MTSC가 주로 공통적인 feature에 집중한다는 한계를 지적하고, class-specific 정보와 generic 정보를 함께 활용하는 구조를 제안한다. 특히 shapelet을 기반으로 한 차별적인 정보를 별도의 branch에서 학습하도록 설계함으로써, 각 class를 구분하는 핵심 패턴을 보다 명확하게 반영할 수 있도록 한다. 이를 통해 class별로 구분되는 특징을 보다 효과적으로 반영하여 분류 성능을 향상시키는 데 초점을 둔다.

InterpGN은 해석 가능성과 성능 사이의 trade-off를 해결하고자 하며, shapelet 기반의 해석 가능한 모델과 딥러닝 모델을 결합한 구조를 제안한다. 이 모델은 shapelet을 기반으로 한 명시적인 판단 근거를 제공하면서도, 복잡한 패턴에 대해서는 딥러닝 모델이 보완하도록 설계되어 있다. 이를 통해 일부 예측은 명확한 근거와 함께 설명 가능하게 만들고, 동시에 복잡한 경우에는 딥러닝 모델이 성능을 보완하도록 한다.

두 논문은 모두 shapelet을 활용하지만 목적이 다르다. ShapeFormer는 shapelet을 성능 향상을 위한 class-specific 표현으로 활용하는 반면, InterpGN은 shapelet을 해석 가능한 개념으로 활용한다. 이러한 차이는 shapelet이 단순한 특징 추출 도구를 넘어, 다양한 목적에 맞게 재해석될 수 있음을 보여준다. 이를 통해 shapelet이 단순한 특징을 넘어, 성능과 해석 가능성을 동시에 고려하는 중요한 요소로 확장되고 있음을 확인할 수 있다.

Q1: Transformer 기반 모델에 class-specific branch 방식을 적용한 것이 ShapeFormer가 처음인가요?
A1: 논문 기준으로 ShapeFormer의 핵심 기여는 기존 Transformer 기반 MTSC가 주로 generic feature에 집중했다는 문제를 제기하고, class-specific shapelet difference feature를 별도 Transformer branch로 결합한 점입니다. 다만 모든 Transformer 연구에서 class-specific branch가 처음이라는 의미보다는, MTSC에서 shapelet 기반 class-specific Transformer 구조를 제안한 것이 핵심입니다.

Q2: Cross Entropy는 어떻게 계산하나요? Ground Truth가 있어야 하는 것 아닌가요?
A2: 맞습니다. 두 논문 모두 supervised classification 문제를 다루기 때문에 학습 단계에서는 ground truth class label이 필요하며, softmax output과 정답 label 사이에서 cross-entropy를 계산합니다. 추론 단계에서는 ground truth 없이 입력 시계열만으로 class를 예측합니다.

Q3: Position embedding이 시계열 데이터에서는 어떻게 이루어지나요?
A3: ShapeFormer의 class-specific branch에서는 shapelet의 start index, end index, variable index를 one-hot vector로 표현한 뒤 linear embedding으로 변환해 difference token에 더합니다. Generic branch에서는 ConvBlock으로 추출된 feature에 learnable positional embedding을 더해 Transformer Encoder에 입력합니다.

Q4: DNN expert가 왜 필요한가요?
A4: InterpGN의 SBM은 shapelet predicate를 사용하기 때문에 해석 가능하지만, shapelet의 존재 여부 중심 표현이라 복잡한 패턴이나 어려운 boundary sample을 충분히 잡지 못할 수 있습니다. 그래서 SBM이 확신하는 sample은 SBM 중심으로 예측하고, 확신이 낮은 sample은 DNN expert가 보완하도록 gating 구조를 사용합니다.


[관련논문]
- ShapeFormer: Shapelet Transformer for Multivariate Time Series Classification
- Shedding Light on Time Series Classification using Interpretability Gated Networks

[녹화영상]
https://us06web.zoom.us/rec/share/c6VpcBi2RlUk9osTWVSXdSCiy0GhOochr-HGa0ozFEqlu04HXjpC1dlCUJaftZEY.ppF-ZjUFN8o0cJ81