Rethinking Patch Based Multivariate Time Series Forecasting with Semantic Structured Partitioning
시계열을 일정 구간으로 자르지 말고, 의미 단위로 잘라서 예측하자는 새 방법
여러 변수가 얽힌 시계열을 예측할 때 기존 방법들은 시계열을 똑같은 길이 조각(패치)으로 자르거나, 여러 크기로 자르거나, 유연하게 자르는 식으로 접근해왔지만 모두 의미 있는 경계를 놓치거나 중복 정보를 만드는 한계가 있었다. 이 논문은 SCPaT라는 프레임워크를 제안해, 데이터의 변화 패턴에 맞춰 조각의 길이를 스스로 정하고, 조각들 사이의 방향성 있는 영향 관계를 그래프로 구성한 뒤, 중요도에 따라 서로 다른 전문가 모델에 나눠 처리한다. 12개의 실제 데이터셋 실험에서 기존 대표 방법들보다 낮은 예측 오차를 보였다.
METAL MEDIA 해설 도표
시계열을 일정 구간으로 자르지 말고, 의미 단위로 잘라서 예측하자는 새 방법
01시계열을 고정 길이, 여러 크기, 신축적 길이로 자르는 기존 세 가지 방식 모두 의미 단위(추세, 주기, 급변 등)를 제대로 반영하지 못한다는 점을 분석했다
02구간의 변화 정도(분산)를 기준으로 안정적인 구간은 길게, 급변하는 구간은 짧게 자동으로 나누는 '의미 단위 생성' 방식을 도입했다
03정보의 흐름 방향을 측정하는 전이 엔트로피 개념을 신경망으로 근사해, 단위들 사이의 방향성 있는 의존 관계를 그래프로 만들고 이를 묶어 상위 '의미 블록'을 구성했다
04블록의 특성(느리게 변하는지 빠르게 변하는지 등)에 따라 서로 다른 전문가 신경망에 나눠 처리하는 라우팅 방식을 적용해, 필요한 전문가 개수도 상황에 맞게 자동 조절되게 했다
05장기 및 단기 예측 벤치마크에서 ETT 계열 데이터 기준 PatchTST, TimesNet, HDMixer 대비 평균 오차를 각각 4.6%, 7.1%, 4.1% 줄였고, 결측치와 노이즈가 있는 상황에서도 상대적으로 안정적인 성능을 보였다
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
시계열을 고정 길이, 여러 크기, 신축적 길이로 자르는 기존 세 가지 방식 모두 의미 단위(추세, 주기, 급변 등)를 제대로 반영하지 못한다는 점을 분석했다
구간의 변화 정도(분산)를 기준으로 안정적인 구간은 길게, 급변하는 구간은 짧게 자동으로 나누는 '의미 단위 생성' 방식을 도입했다
정보의 흐름 방향을 측정하는 전이 엔트로피 개념을 신경망으로 근사해, 단위들 사이의 방향성 있는 의존 관계를 그래프로 만들고 이를 묶어 상위 '의미 블록'을 구성했다
블록의 특성(느리게 변하는지 빠르게 변하는지 등)에 따라 서로 다른 전문가 신경망에 나눠 처리하는 라우팅 방식을 적용해, 필요한 전문가 개수도 상황에 맞게 자동 조절되게 했다
장기 및 단기 예측 벤치마크에서 ETT 계열 데이터 기준 PatchTST, TimesNet, HDMixer 대비 평균 오차를 각각 4.6%, 7.1%, 4.1% 줄였고, 결측치와 노이즈가 있는 상황에서도 상대적으로 안정적인 성능을 보였다
Figure 1: Comparison of four patch based schemes: fixed partitioning, multi-scale partitioning, extendable partitioning, and the proposed semantic structured partitioning.
Table 1: Summary of the 12 datasets used in our forecasting experiments, including the prediction horizons, data dimensionality, sampling frequency, and total number of time points.
Task Type
Dataset
Prediction Horizons
Time Point
Dimension
Frequency
Long-term Forecasting
ETTh1
{96,192,336,720}
17420
7
Hourly
ETTh2
{96,192,336,720}
17420
7
Hourly
ETTm1
{96,192,336,720}
69680
7
15 min
ETTm2
{96,192,336,720}
69680
7
15 min
Weather
{96,192,336,720}
52603
21
10 min
Traffic
{96,192,336,720}
17451
862
Hourly
Electricity
{96,192,336,720}
26211
321
Hourly
Solar
{96,192,336,720}
52179
137
10 min
Short-term Forecasting
PEMS03
{12,24,48}
26208
358
5 min
PEMS04
{12,24,48}
16992
307
5 min
PEMS07
{12,24,48}
28224
883
5 min
PEMS08
{12,24,48}
17856
170
5 min
Figure 2: SCPaT architecture consists of: (a) Semantic Vector Encoder, which encodes time series into semantic units; (b) Transfer Entropy Graph Constructor, quantifies directed dependencies and constructs a dynamic semantic graph; and (c) Importance aware Routing, allocates customized processing strategies to different semantic blocks for effective modeling.
Table 2: Multivariate long-term forecasting results over four prediction horizons, H∈{96,192,336,720}, with the input length fixed at L=96. The best and second-best results are marked in bold red and blue underline, respectively.
Models
SCPaT
MSPatch
DUET
iTransformer
MSGNet
HDMixer
PatchTST
TimesNet
CrossFormer
LSTM
(Ours)
(2025)
(2025)
(2024)
(2024)
(2024)
(2023)
(2023)
(2023)
(1997)
Metric
MSE
MAE
MSE
MAE
MSE
MAE
MSE
MAE
MSE
MAE
MSE
MAE
MSE
MAE
MSE
MAE
MSE
MAE
MSE
ETTh1
96
0.370
0.392
0.372
0.395
0.384
0.402
0.386
0.405
0.390
0.411
0.386
0.401
0.414
0.419
0.384
0.402
0.423
0.448
192
0.418
0.422
0.428
0.426
0.437
0.429
0.441
0.436
0.442
0.442
0.441
0.430
0.460
0.445
0.446
0.439
0.471
0.474
1.217
336
0.452
0.440
0.484
0.452
0.477
0.453
0.465
0.445
0.487
0.458
0.458
0.443
0.501
0.466
0.491
0.469
0.570
0.546
1.259
720
0.449
0.458
0.480
0.473
0.486
0.475
0.503
0.491
0.494
0.488
0.512
0.484
0.500
0.488
0.521
0.500
0.653
0.621
1.271
ETTh2
96
0.288
0.338
0.292
0.344
0.298
0.351
0.297
0.349
0.328
0.371
0.293
0.338
0.302
0.348
0.340
0.374
0.745
0.584
192
0.373
0.396
0.383
0.402
0.374
0.394
0.380
0.400
0.402
0.414
0.379
0.396
0.388
0.400
0.402
0.414
0.877
0.656
3.312
336
0.408
0.427
0.417
0.431
0.417
0.431
0.428
0.432
0.435
0.443
0.426
0.444
0.426
0.433
0.452
0.452
1.043
0.731
3.291
720
0.430
0.444
0.422
0.446
0.427
0.442
0.430
0.445
0.441
0.444
0.429
0.447
0.431
0.446
0.462
0.468
1.104
0.763
3.257
ETTm1
96
0.320
0.360
0.324
0.363
0.329
0.361
0.334
0.368
0.323
0.366
0.340
0.368
0.329
0.367
0.338
0.375
0.404
0.426
192
0.362
0.383
0.367
0.385
0.364
0.385
0.377
0.391
0.376
0.397
0.382
0.386
0.367
0.385
0.374
0.387
0.450
0.451
1.113
336
0.389
0.402
0.390
0.404
0.396
0.408
0.426
0.420
0.417
0.422
0.403
0.411
0.399
0.410
0.410
0.411
0.532
0.515
1.267
720
0.456
0.436
0.454
0.437
0.469
0.437
0.491
0.459
0.481
0.458
0.473
0.439
0.454
0.439
0.478
0.450
0.666
0.589
1.324
ETTm2
96
0.173
0.258
0.175
0.260
0.179
0.262
0.180
0.264
0.181
0.262
0.183
0.266
0.181
0.259
0.187
0.267
0.287
0.366
192
0.238
0.300
0.239
0.302
0.240
0.300
0.250
0.309
0.247
0.307
0.247
0.307
0.241
0.302
0.249
0.309
0.414
0.492
2.249
336
0.297
0.339
0.297
0.340
0.302
0.341
0.311
0.348
0.312
0.346
0.305
0.345
0.305
0.343
0.321
0.351
0.597
0.543
2.568
720
0.394
0.394
0.396
0.397
0.399
0.397
0.412
0.407
0.414
0.403
0.406
0.400
0.402
0.406
0.408
0.403
1.730
1.042
2.720
Weather
96
0.163
0.208
0.165
0.209
0.167
0.209
0.174
0.214
0.169
0.212
0.174
0.223
0.177
0.218
0.172
0.220
0.171
0.230
192
0.209
0.250
0.211
0.252
0.212
0.254
0.221
0.254
0.218
0.255
0.225
0.264
0.225
0.259
0.219
0.261
0.226
0.277
0.416
336
0.266
0.292
0.268
0.294
0.269
0.297
0.278
0.296
0.272
0.299
0.277
0.301
0.278
0.297
0.280
0.306
0.272
0.335
0.455
720
0.345
0.349
0.342
0.345
0.348
0.347
0.358
0.349
0.350
0.348
0.349
0.347
0.354
0.348
0.365
0.359
0.398
0.418
0.535
Traffic
96
0.393
0.247
0.460
0.295
0.395
0.256
0.395
0.268
0.605
0.344
0.529
0.353
0.544
0.359
0.593
0.321
0.522
0.290
192
0.425
0.259
0.466
0.300
0.420
0.266
0.417
0.276
0.613
0.359
0.535
0.361
0.540
0.354
0.617
0.336
0.530
0.293
0.847
336
0.454
0.270
0.484
0.306
0.458
0.272
0.461
0.283
0.642
0.376
0.541
0.361
0.551
0.358
0.629
0.336
0.558
0.305
0.853
720
0.489
0.291
0.510
0.323
0.499
0.288
0.497
0.302
0.702
0.401
0.591
0.389
0.586
0.375
0.640
0.350
0.589
0.328
1.500
Electricity
96
0.139
0.233
0.158
0.257
0.148
0.236
0.149
0.240
0.165
0.274
0.163
0.275
0.195
0.285
0.168
0.272
0.219
0.314
192
0.155
0.248
0.171
0.268
0.164
0.249
0.162
0.253
0.184
0.292
0.186
0.281
0.195
0.285
0.184
0.289
0.231
0.322
0.442
336
0.168
0.263
0.184
0.283
0.178
0.265
0.178
0.269
0.195
0.302
0.199
0.295
0.215
0.305
0.198
0.300
0.246
0.337
0.439
720
0.200
0.293
0.223
0.308
0.206
0.303
0.225
0.317
0.231
0.332
0.231
0.321
0.256
0.337
0.220
0.320
0.280
0.363
0.980
Figure 3: Sensitivity analysis of the hyperparameters α and Top-P on ETTm1, ETTh1, ETTh2, and Weather, with both the input length and prediction horizon fixed at 96.
Table 3: Multivariate short-term forecasting results over three prediction horizons, H∈{12,24,48}, with the input length fixed at L=96. The best and second-best results are marked in bold red and blue underline, respectively.
Models
SCPaT
MSPatch
DUET
iTransformer
MSGNet
HDMixer
TimesNet
PatchTST
CrossFormer
(Ours)
(2025)
(2025)
(2024)
(2024)
(2024)
(2023)
(2023)
(2023)
Metric
MSE
MAE
MSE
MAE
MSE
MAE
MSE
MAE
MSE
MAE
MSE
MAE
MSE
MAE
MSE
MAE
MSE
MAE
PEMS03
12
0.066
0.169
0.074
0.179
0.071
0.176
0.071
0.174
0.083
0.197
0.076
0.184
0.085
0.192
0.099
0.216
0.090
0.203
24
0.086
0.195
0.097
0.200
0.089
0.197
0.093
0.201
0.097
0.217
0.095
0.210
0.118
0.223
0.142
0.259
0.121
0.240
48
0.122
0.235
0.131
0.244
0.118
0.229
0.125
0.236
0.135
0.241
0.122
0.245
0.155
0.260
0.211
0.319
0.202
0.317
PEMS04
12
0.073
0.176
0.075
0.185
0.076
0.179
0.078
0.183
0.082
0.187
0.084
0.188
0.087
0.195
0.105
0.224
0.098
0.218
24
0.091
0.199
0.093
0.201
0.097
0.203
0.095
0.205
0.128
0.241
0.097
0.210
0.103
0.215
0.153
0.257
0.131
0.256
48
0.124
0.237
0.134
0.244
0.119
0.239
0.126
0.240
0.192
0.315
0.134
0.253
0.136
0.250
0.229
0.339
0.205
0.326
PEMS07
12
0.058
0.153
0.066
0.162
0.059
0.166
0.067
0.165
0.087
0.191
0.074
0.182
0.082
0.181
0.095
0.207
0.094
0.200
24
0.074
0.174
0.083
0.189
0.079
0.183
0.088
0.190
0.135
0.241
0.089
0.197
0.101
0.204
0.150
0.262
0.139
0.247
48
0.102
0.207
0.112
0.217
0.106
0.211
0.110
0.215
0.297
0.351
0.124
0.217
0.134
0.238
0.253
0.340
0.311
0.369
PEMS08
12
0.070
0.173
0.079
0.175
0.077
0.177
0.079
0.182
0.159
0.208
0.098
0.193
0.112
0.212
0.168
0.232
0.165
0.214
24
0.085
0.187
0.094
0.211
0.098
0.201
0.115
0.219
0.210
0.251
0.108
0.223
0.141
0.238
0.224
0.281
0.215
0.260
48
0.112
0.220
0.150
0.232
0.139
0.227
0.186
0.235
0.311
0.358
0.167
0.247
0.198
0.283
0.321
0.354
0.315
0.335
1st Count
9
11
0
0
3
1
0
0
0
0
0
0
0
0
0
0
0
0
Figure 4: Performance degradation under different Gaussian noise levels on ETTh1 and Weather with both the input length and prediction horizon fixed at 96.
Table 4: Average routing probability distribution across experts, with both the input length and prediction horizon fixed at 96.
Dataset
Expert 1
Expert 2
Expert 3
ETTh1
0.62
0.21
0.17
ETTm1
0.51
0.25
0.24
Weather
0.81
0.11
0.08
Figure 5: Performance comparison under different look-back window lengths on ETTm1, ETTh1, Electricity, and Weather, with L∈{48,96,192,336,720} and the prediction horizon fixed at 96.
Table 5: Robustness analysis on the ETTm2 and ETTh1 datasets under different missing rates, with the input length fixed at L=96 and the prediction horizon fixed at H=96. The best results are highlighted in bold.
Missing Rate
ETTm2
ETTh1
SCPaT (Ours)
iTransformer
PatchTST
SCPaT (Ours)
iTransformer
PatchTST
MSE
MAE
MSE
MAE
MSE
MAE
MSE
MAE
MSE
MAE
MSE
MAE
0.00
0.173
0.258
0.180
0.264
0.181
0.259
0.370
0.392
0.386
0.405
0.414
0.419
0.05
0.213
0.297
0.249
0.441
0.252
0.327
0.379
0.401
0.404
0.413
0.436
0.428
0.10
0.248
0.326
0.295
0.472
0.328
0.376
0.390
0.412
0.433
0.424
0.455
0.441
0.15
0.287
0.354
0.379
0.559
0.411
0.423
0.404
0.424
0.462
0.432
0.467
0.460
0.20
0.332
0.385
0.433
0.567
0.502
0.471
0.419
0.438
0.478
0.448
0.482
0.483
0.25
0.388
0.419
0.506
0.574
0.601
0.520
0.437
0.454
0.487
0.473
0.498
0.503
0.30
0.452
0.456
0.596
0.580
0.709
0.569
0.459
0.471
0.500
0.498
0.511
0.527
Figure 6: Heatmaps of the learned directed adjacency matrix Afinal on the ETTh1 and Weather datasets.
Table 6: Ablation results of the SCPaT components on ETTm2, Weather, and Traffic over prediction horizons H∈{96,192,336,720}, with the input length fixed at L=96. The best and second-best results are marked in bold red and blue underline, respectively.
Dataset
ETTm2
Weather
Traffic
Prediction Length
96
192
336
720
96
192
336
720
96
192
336
720
SCPaT
MSE
0.173
0.238
0.297
0.394
0.163
0.209
0.266
0.345
0.393
0.425
0.454
0.489
MAE
0.258
0.300
0.339
0.394
0.208
0.250
0.292
0.349
0.247
0.259
0.270
0.291
w/o SV Encoder
MSE
0.196
0.259
0.317
0.412
0.204
0.248
0.302
0.373
0.414
0.448
0.478
0.510
MAE
0.278
0.318
0.354
0.408
0.254
0.287
0.323
0.367
0.274
0.281
0.294
0.316
w/o IAR
MSE
0.178
0.245
0.302
0.400
0.167
0.216
0.273
0.353
0.397
0.431
0.459
0.495
MAE
0.264
0.309
0.347
0.402
0.214
0.257
0.299
0.354
0.253
0.267
0.274
0.297
w/o TE Graph
MSE
0.180
0.247
0.309
0.407
0.171
0.214
0.277
0.356
0.401
0.436
0.466
0.498
MAE
0.270
0.311
0.343
0.413
0.221
0.262
0.301
0.355
0.249
0.264
0.277
0.301
Figure 8: Model efficiency comparison of different methods on ETTm2 and Weather.
왜 중요한가
전력, 날씨, 교통량처럼 여러 변수가 얽힌 시계열 예측은 에너지 수요 관리나 인프라 운영 등 실무에 직접 쓰이는데, 기존 방식의 구간 나누기 한계를 짚고 성능과 안정성을 함께 개선했다는 점에서 실제 예측 시스템 설계에 참고할 만하다. 특히 결측치나 잡음이 섞인 실데이터 환경에서의 강건성을 함께 검증했다는 점이 실용적 가치를 더한다.
이 논문의 용어
패치(patch) · 긴 시계열을 여러 개의 짧은 구간으로 잘라낸 조각
전이 엔트로피(transfer entropy) · 한 변수의 과거 값이 다른 변수의 미래 값을 얼마나 더 잘 설명하는지 측정해 방향성 있는 영향 관계를 나타내는 지표
라우팅(routing) · 입력을 여러 전문 모델(전문가) 중 적합한 곳으로 나눠 보내 처리하는 방식
Top-P 라우팅 · 전문가를 미리 정한 개수만큼 뽑지 않고, 확률 합이 특정 기준을 넘을 때까지 필요한 만큼만 뽑는 방식
모듈러리티(modularity) · 그래프를 몇 개의 덩어리(클러스터)로 나눌 때 그 나눔이 얼마나 자연스러운지를 수치로 나타낸 것
