심장 신호 3종(ECG, PPG, PCG)을 하나의 AI가 동시에 이해하도록 학습시켰더니 각 신호 전용 모델보다 더 잘 맞혔다
arXiv:2608.129442026-08-12
CardioState-JEPA: Delay-Aware Cross-Modal Learning of a Shared Cardiac Representation
심장 신호 3종(ECG, PPG, PCG)을 하나의 AI가 동시에 이해하도록 학습시켰더니 각 신호 전용 모델보다 더 잘 맞혔다
심전도(ECG), 광혈류측정(PPG), 심음도(PCG)는 같은 심장 박동을 전기·혈류·소리로 각기 다른 시점에 관찰한 것이다. CardioState-JEPA는 이 세 신호를 하나의 트랜스포머 인코더로 처리하면서, 신호를 그대로 복원하지 않고 '가려진 부분의 숨은 심장 상태'를 맞히도록 학습시키고, 신호 간 시간차를 스스로 추정하는 지연 정렬기로 서로 다른 시점의 사건을 짝지운다. 25개의 다운스트림 과제에서 이 방식은 각 신호 전용 자기지도학습 모델보다 PPG 분류 8.2점, PCG 잡음(murmur) 탐지 18.8점, ECG 분류 15.5점(모두 AUROC 기준) 더 높은 점수를 얻었다.
METAL MEDIA 해설 도표
CardioState-JEPA 2단계 학습 구조
증거 상태측정 결과가 보고됨
1단계: 신호별 단독 학습ECG, PPG, PCG 각각의 대량 단일 신호 데이터를 가지고, 신호 일부를 가린 뒤 그 자리의 숨은 심장 상태를 맞히도록 공유 트랜스포머 인코더를 학습시킨다
2단계: 지연 정렬 기반 신호 간 학습동시에 녹음된 적은 양의 짝 데이터(ECG-PPG, ECG-PCG, 3종 동시 녹음)를 이용해, 학습된 지연 정렬기가 신호 간 시간차를 추정하고 한 신호로 다른 신호의 해당 시점 상태를 예측하도록 학습한다
공유 표현 공간학습이 끝나면 세 신호가 만들어낸 잠재 표현이 신호 종류와 무관하게 섞이며(모달리티 실루엣 지수 0.121에서 -0.006으로 하락), 동시에 부정맥 등 실제 클래스 구분력은 향상된다
고정 인코더 평가학습이 끝난 인코더는 더 이상 학습하지 않고 그대로 둔 채, 각 과제에 맞는 얇은 선형 분류기만 새로 붙여 25개의 ECG·PPG·PCG 다운스트림 과제에서 성능을 측정한다
성능 비교 결과PPG 분류 8.2점, PCG 심잡음 탐지 18.8점, ECG 분류 15.5점(AUROC 기준) 만큼 각 신호 전용 자기지도학습 베이스라인을 앞섰다
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
ECG는 전기 신호, PPG는 손끝 등에서 측정하는 혈류 파형, PCG는 청진기로 듣는 심장 소리인데, 이 셋은 같은 심장 박동을 시간차를 두고 관찰한 것이라는 점에서 출발한다.
먼저(1단계) 각 신호를 대량의 단일 신호 데이터로 따로 학습시켜 신호 내부 구조를 익히게 하고, 그다음(2단계) 동시에 녹음된 적은 양의 짝 데이터로 신호 간에 시간차를 스스로 추정하는 지연 정렬기를 이용해 서로 예측하도록 학습시킨다.
학습 목표는 원본 파형을 그대로 복원하는 것이 아니라, 신호 일부를 가리고 그 자리에 있어야 할 '숨은 심장 상태(잠재 표현)'를 맞히는 것으로, 이렇게 하면 센서별 잡음이나 모양 차이보다 공통된 생리학적 구조에 집중하게 된다.
학습이 끝난 인코더는 얼어붙은 채로(가중치 고정) 선형 분류기만 얹어 25개의 실제 진단·모니터링 과제(부정맥, 심잡음, 활동 인식, 혈압·호흡수 추정 등)에서 성능을 평가했다.
고정 인코더에 선형 프로브만 붙였는데도 ECG, PPG, PCG 각각의 전용 자기지도학습 모델보다 평균적으로 더 높은 점수를 냈고, 임상 텍스트나 정답 라벨을 함께 학습한 일부 ECG 모델과도 맞먹거나 그보다 나은 성능을 보였다.
Figure 1: Motivation of CardioState-JEPA. ECG, PPG, and PCG observe the same cardiac cycle at different physiological times, motivating a shared cardiac representation.
Table 1: PPG Baseline Linear Probe Results (100% training data). ↑: macro-AUROC ×100 (higher is better); ↓: MAE (lower is better). Bold: best; underline: second best. Average (Classification) is the unweighted mean macro-AUROC across the 6 classification tasks. Average (Regression) is the unweighted mean MAE across the 11 regression tasks.
Task
PaPaGei-S
PaPaGei-P
AnyPPG
PulsePPG
ChronosBolt
CardioState-JEPA
PPG Classification Tasks
WESAD ↑
65.3
65.7
70.1
66.8
64.0
74.5
DaLiA Activity ↑
68.4
71.1
79.0
77.3
77.2
90.3
MIMIC AF ↑
48.4
81.1
93.3
32.4
46.1
97.7
PPG Arrhythmia ↑
86.3
88.7
95.8
92.6
90.4
96.8
BIDMC RR ↑
51.3
38.2
53.2
43.5
38.0
78.4
UQVital RR ↑
40.6
41.8
41.8
29.5
30.5
44.6
Average (Classification) ↑
60.1
64.4
72.2
57.0
57.7
80.4
PPG Regression Tasks
DaLiA HR ↓
11.8
11.5
5.8
8.6
8.2
3.8
EarSet HR ↓
10.7
9.5
9.8
8.9
8.3
8.2
WildPPG HR ↓
10.0
9.9
5.4
7.7
7.5
5.4
Sensors DBP ↓
7.2
7.0
6.9
7.4
6.9
6.8
Sensors SBP ↓
20.0
19.4
16.7
18.6
18.0
16.8
UCI DBP ↓
7.8
7.9
6.7
6.9
7.2
5.8
UCI SBP ↓
18.5
18.1
15.2
16.2
17.4
10.3
BCG DBP ↓
10.1
12.9
4.5
11.2
10.8
2.8
BCG SBP ↓
13.7
10.2
13.5
12.7
11.8
4.4
UQVital SpO2 ↓
0.76
0.85
0.78
0.84
0.83
0.82
WildPPG RMSSD ↓
36.6
37.6
34.9
36.7
35.9
34.8
Average (Regression) ↓
13.4
13.2
10.9
12.3
12.1
9.1
Figure 2: Overview of CardioState-JEPA. Stage I learns unimodal cardiac codes with masked latent prediction from abundant ECG, PPG, and PCG recordings. Stage II uses paired recordings for delay-aware cross-modal prediction, where a learned aligner estimates the physiological offset so that one modality predicts another at the corresponding cardiac time.
Table 2: ECG linear probing results under 1%, 10%, and 100% label fractions across six datasets. Avg is the mean macro-AUROC across all 18 settings (six datasets × three label fractions). Label-supervised and ECG-text models are shown as reference models but are excluded from the SSL bold/underline comparison.
PTB-XL Super
PTB-XL Sub
PTB-XL Form
PTB-XL Rhythm
CPSC
CSN
Method
1%
10%
100%
1%
10%
100%
1%
10%
100%
1%
10%
100%
1%
10%
100%
1%
10%
100%
Avg
Self-supervised ECG-only models
SimCLR
63.4
69.8
73.5
60.8
68.3
73.4
55.0
57.0
62.5
51.4
69.4
77.7
59.8
68.5
76.5
59.0
67.3
73.2
65.9
BYOL
71.7
73.8
76.5
57.2
67.4
71.6
48.7
61.6
70.8
42.0
74.4
77.2
60.9
74.4
78.8
54.2
71.9
74.7
67.1
BarlowTwins
72.9
76.0
78.4
62.6
70.8
74.3
52.1
60.4
66.1
50.1
73.5
77.6
55.1
72.8
78.4
60.7
71.6
77.4
68.4
MoCo-v3
73.2
76.7
78.3
55.9
69.2
76.7
50.3
63.7
71.3
51.4
71.7
74.3
62.1
76.7
75.3
54.6
74.3
77.7
68.5
SimSiam
73.2
72.7
75.6
62.5
69.3
76.4
55.2
62.9
71.3
49.3
69.5
75.9
58.4
72.9
75.3
58.3
68.6
77.4
68.0
TS-TCC
70.7
75.9
78.9
53.5
67.0
77.9
48.0
61.8
71.2
43.3
69.5
78.2
57.1
73.6
78.7
55.3
68.5
76.8
67.0
CLOCS
68.9
73.4
76.3
57.9
72.6
76.2
52.0
58.0
72.7
47.2
71.9
76.3
59.6
77.8
77.5
54.4
71.9
76.1
67.8
ASTCL
72.5
77.3
81.0
61.9
68.8
76.5
44.1
60.9
67.0
52.4
72.0
76.1
57.9
77.0
79.5
56.4
70.9
75.8
68.2
CRT
69.7
78.2
77.2
62.0
70.8
78.7
46.4
59.5
68.7
47.4
73.5
74.4
58.0
76.4
82.0
56.2
73.7
78.8
68.4
ST-MEM
61.1
66.9
71.4
54.1
57.9
63.6
55.7
60.0
66.1
51.1
65.4
74.9
56.7
63.3
70.4
59.8
66.9
71.4
63.2
Label-supervised ECG model
ECGFounder
83.1
87.2
89.6
73.6
76.5
81.7
61.1
69.7
85.1
87.0
91.6
94.6
87.6
93.6
96.3
71.9
81.7
91.9
83.5
ECG-Text foundation models
MERL
82.4
86.3
88.7
64.9
80.6
84.7
58.3
72.4
79.7
53.3
82.9
88.3
70.3
85.3
90.6
66.6
82.7
88.0
78.1
HeartLang
78.9
84.4
86.7
69.8
75.1
83.9
56.4
66.1
79.5
72.6
77.3
91.1
71.1
84.8
91.3
68.4
76.1
89.8
78.0
AnyChat
82.1
84.4
86.8
72.1
73.2
82.2
58.4
69.7
77.1
73.1
84.7
94.5
83.7
88.9
92.6
71.2
79.5
89.9
80.2
ESI
72.3
80.8
83.7
61.6
69.0
75.6
56.9
59.3
72.8
56.6
71.4
81.7
68.2
78.9
83.8
60.1
65.1
79.4
71.0
D-BETA
83.2
88.4
90.1
77.7
82.9
85.2
70.1
78.9
84.0
86.6
92.8
96.7
85.5
91.4
94.9
80.0
87.4
90.7
85.9
ECG-FM
81.3
87.0
89.4
71.7
76.9
83.0
64.6
76.3
86.1
77.0
91.0
96.3
84.7
92.6
95.7
76.0
87.7
95.0
84.0
CardioState-JEPA (Ours)
81.3
86.4
89.1
71.0
79.1
86.4
60.5
70.0
83.9
87.8
92.4
96.4
87.6
93.4
95.8
75.1
83.1
93.8
84.1
Figure 3: T-SNE of cardiac codes from co-recorded ECG, PPG, and PCG samples after Stage I (left) and Stage II (right).
Table 3: PCG linear probe results on the murmur detection and abnormal heart sound detection tasks (macro-AUROC ×100, ↑; mean±std over 3 seeds).
Method
CirCor ↑
CinC2016 ↑
StethoLM
64.9 ± 1.2
45.7 ± 0.4
CLAP
75.3 ± 1.8
44.3 ± 0.7
AudioMAE
79.1 ± 2.7
62.4 ± 0.7
CardioState-JEPA (Ours)
97.9 ± 0.1
66.8 ± 0.4
Figure 8: Learned delay alignment on paired recordings. The top panel shows ECG to PPG alignment on VitalDB and the bottom panel shows ECG to PCG alignment on EPHNOGRAM. For each ECG R-peak tR, the predicted event time tR+τ^ (red dashed) is overlaid on the target signal alongside the actual event (green), namely the systolic upstroke for PPG and the first heart sound S1 for PCG. The learned delay tracks the physiological offset between modalities.
Table 4: Ablation studies on pretraining modalities, self-supervised objectives, and auxiliary losses.
Model / Variant
ECG Avg ↑
PPG Cls Avg ↑
PPG Reg Avg ↓
PCG Avg ↑
Pretraining Modality Combination
ECG only
89.7 ± 0.5
–
–
–
PPG only
–
78.5 ± 2.6
10.7 ± 0.6
–
PCG only
–
–
–
60.2 ± 0.9
ECG + PPG
91.4 ± 0.4
80.6 ± 2.8
10.1 ± 0.8
–
ECG + PCG
88.4 ± 0.6
–
–
79.7 ± 0.7
CardioState-JEPA (Ours)
90.9 ± 0.3
80.4 ± 2.5
9.1 ± 0.6
82.3 ± 0.2
Self-Supervised Objective
SimCLR
89.5 ± 0.5
70.1 ± 2.9
11.1 ± 0.6
80.0 ± 0.7
BYOL
89.3 ± 0.4
66.7 ± 3.8
11.0 ± 0.5
80.3 ± 0.4
BarlowTwins
88.6 ± 0.4
64.1 ± 4.4
11.3 ± 0.5
78.8 ± 1.0
MAE
84.4 ± 0.5
62.0 ± 3.8
11.8 ± 0.5
78.1 ± 0.3
CardioState-JEPA (Ours)
90.9 ± 0.3
80.4 ± 2.5
9.1 ± 0.6
82.3 ± 0.2
Auxiliary Loss Terms
w/o Cross-modal prediction
83.8 ± 0.5
63.9 ± 3.5
10.7 ± 0.5
78.4 ± 0.4
w/o State alignment
84.4 ± 0.5
66.3 ± 3.5
11.2 ± 0.5
79.3 ± 0.5
w/o Delay modeling
85.3 ± 0.6
68.9 ± 3.7
11.1 ± 0.6
81.3 ± 0.5
w/o Phase supervision
88.7 ± 0.5
71.0 ± 3.1
10.4 ± 0.6
78.3 ± 0.5
CardioState-JEPA (Ours)
90.9 ± 0.3
80.4 ± 2.5
9.1 ± 0.6
82.3 ± 0.2
Figure 9: t-SNE of PPG features on the binary atrial fibrillation task (MIMICPerform-AF) from the Stage I (left) and Stage II (right) checkpoints, colored by class. The class silhouette rises from 0.03 to 0.12.
Table 5: Training configurations for pretraining and downstream linear probing. Regression tasks are shown with a dash in the class column and are scored with mean absolute error, while classification tasks are scored with macro-AUROC.
Dataset
# Classes
Train
Valid
Test
Opt.
Epochs
BS
LR
ECG Pretraining
MIMIC-IV-ECG [13]
–
710,560
78,951
–
AdamW
–
196
1.2e-4
PPG Pretraining
PPG-EXT [29]
–
4,611,607
512,401
–
AdamW
–
196
1.2e-4
PCG Pretraining
BMD-HS [1]
–
3,436
382
–
AdamW
–
196
1.2e-4
ECG Downstream
PTB-XL Super [40]
5
17,084
2,146
2,158
AdamW
100
16
1e-3
PTB-XL Sub
23
17,084
2,146
2,158
AdamW
100
16
1e-3
PTB-XL Form
19
7,197
901
880
AdamW
100
16
1e-3
PTB-XL Rhythm
12
16,832
2,100
2,098
AdamW
100
16
1e-3
CPSC 2018 [27]
9
4,950
551
1,376
AdamW
100
16
1e-3
CSN [48]
38
16,546
1,860
4,620
AdamW
100
16
1e-3
PPG Downstream
WESAD
2
2,104
297
597
AdamW
100
16
1e-3
DaLiA
8
29,294
4,602
5,320
AdamW
100
16
1e-3
MIMIC AF
2
3,239
240
717
AdamW
100
16
1e-3
PPG Arrhythmia
2
36,820
4,764
5,243
AdamW
100
16
1e-3
BIDMC
–
9,412
1,652
1,398
AdamW
100
16
1e-3
UQVital
–
22,158
2,529
8,158
AdamW
100
16
1e-3
EarSet
–
1,368
44
364
AdamW
100
16
1e-3
WildPPG
–
179,492
15,000
45,000
AdamW
100
16
1e-3
Sensors BP
–
1,631
180
250
AdamW
100
16
1e-3
UCI BP
–
89,054
11,286
11,411
AdamW
100
16
1e-3
BCG BP
–
521
86
64
AdamW
100
16
1e-3
PCG Downstream
CirCor Murmur [32]
3
1,745
608
654
AdamW
100
16
1e-3
CinC [26]
2
2,006
627
607
AdamW
100
16
1e-3
Figure 10: t-SNE of PPG features on the six-class arrhythmia task from the Stage I (left) and Stage II (right) checkpoints, colored by class. The class silhouette rises from 0.01 to 0.09.
Table 6: Input length ablation on ECG tasks (macro-AUROC ×100, ↑, 10% training data). Bold marks the best value in each column. Mean and Std are the mean and standard deviation across the three input lengths.
PTB-XL Super ↑
PTB-XL Sub ↑
PTB-XL Form ↑
PTB-XL Rhythm ↑
Method
2.5s
5s
10s
Mean
Std
2.5s
5s
10s
Mean
Std
2.5s
5s
10s
Mean
Std
2.5s
5s
10s
Mean
ST-MEM
65.3
69.5
69.2
68.0
1.9
58.9
60.7
60.0
59.9
0.7
52.4
58.1
53.5
54.7
2.5
62.6
58.7
62.2
61.2
ECG-FM
80.5
81.9
86.5
83.0
2.6
73.3
72.2
75.1
73.5
1.2
62.2
67.8
76.0
68.7
5.7
72.3
77.0
82.0
77.1
ECGFounder
83.3
86.5
87.0
85.6
1.6
74.8
76.0
76.2
75.7
0.6
62.6
68.2
69.3
66.7
2.9
73.5
81.7
90.2
81.8
CardioState-JEPA
85.2
85.6
86.4
85.7
0.5
78.4
78.7
79.1
78.7
0.3
65.6
68.3
70.0
68.0
1.8
87.0
87.3
92.4
88.9
Table 7: Sensitivity to the cross-modal loss weight λcross. The CardioState-JEPA row uses the default weighting. Values other than MAE are macro-AUROC ×100, where higher is better, and lower is better for MAE.
Variant
ECG Avg ↑
PPG Cls ↑
PPG Reg ↓
PCG Avg ↑
CardioState-JEPA (λcross=1.0)
90.9
80.4
9.1
82.3
λcross=0.5
90.9
78.5
10.34
79.4
λcross=2.0
90.6
77.3
10.54
80.9
Table 8: Sensitivity to the delay supervision loss weight λdelay. The CardioState-JEPA row uses the default weighting. Values other than MAE are macro-AUROC ×100, where higher is better, and lower is better for MAE.
Variant
ECG Avg ↑
PPG Cls ↑
PPG Reg ↓
PCG Avg ↑
CardioState-JEPA (λdelay=1.0)
90.9
80.4
9.1
82.3
λdelay=0.5
90.8
78.7
9.68
79.3
λdelay=2.0
90.8
78.0
10.20
82.5
Table 9: Sensitivity to the state loss weight λstate. The CardioState-JEPA row uses the default weighting. Values other than MAE are macro-AUROC ×100, where higher is better, and lower is better for MAE.
Variant
ECG Avg ↑
PPG Cls ↑
PPG Reg ↓
PCG Avg ↑
CardioState-JEPA (λstate=0.05)
90.9
80.4
9.1
82.3
λstate=0.25
90.7
74.5
10.20
82.7
λstate=1.0
90.2
75.8
9.65
82.7
실제로 확인된 결과
PPG 과제에서 평균 분류 AUROC가 최고 성능 베이스라인 대비 72.2에서 80.4로, 평균 회귀 오차(MAE)가 10.9에서 9.1로 개선되었다.
ECG의 18개 설정(6개 데이터셋×3개 라벨 비율) 평균 AUROC가 자기지도학습 최고 베이스라인인 MoCo-v3(68.5) 대비 84.1로, 15.5점 더 높았다.
PCG의 심잡음(murmur) 탐지와 이상 심음 탐지 과제에서 선형 프로브 기준 최고 성능을 기록했으며, 베스트 자기지도학습 베이스라인 대비 심잡음 탐지가 18.8점 더 높았다.
임상 텍스트나 대규모 정답 라벨로 학습한 일부 ECG 모델과 비교했을 때도 CardioState-JEPA가 여러 벤치마크에서 맞먹거나 더 나은 결과를 보였다.
1단계 학습 후에는 t-SNE 시각화에서 신호별로 뚜렷이 구분된 군집이 나타났지만, 2단계 학습 후에는 신호 구분 없이 섞였고(모달리티 실루엣 지수가 0.121에서 -0.006으로 하락), 동시에 부정맥 분류 등 다운스트림 과제의 클래스 구분력(실루엣 지수)은 오히려 올라갔다.
어디에 쓸 수 있나
웨어러블 기기(스마트워치 등)에서 얻은 PPG 신호만으로도 다른 신호로 미리 학습된 지식을 활용해 부정맥, 혈압, 호흡수 등을 더 정확히 추정하는 데 활용할 수 있다.
청진 녹음(PCG)을 이용한 심잡음 자동 선별 시스템 개발 시, ECG나 PPG 데이터로 함께 학습된 인코더를 기반으로 더 적은 청진 데이터로도 성능을 높이는 데 시도해 볼 수 있다.
병원에서 서로 다른 센서로 수집된 심장 데이터를 하나의 공용 표현 모델로 통합해, 센서별로 별도 모델을 유지·관리하는 부담을 줄이는 방향의 설계에 참고할 수 있다.
적은 라벨(1%, 10%)만 있는 상황에서도 어느 정도 성능을 내야 하는 임상 데이터가 부족한 환경의 사전학습 전략 설계에 참고할 수 있다.
한계와 남은 검증
동시에 녹음된 여러 신호(짝 데이터)는 단일 신호 데이터보다 훨씬 적어서, 지연 정렬기가 비교적 적은 수의 깨끗한 박동 데이터로만 학습되었다.
PCG 사전학습 데이터가 세 신호 중 가장 적어, 음향 신호 자체만의 표현력을 얼마나 더 끌어올릴 수 있는지는 제한적으로만 확인되었다.
ECG의 경우 3개 신호를 모두 사용한 모델이 2개 신호만 사용한 최상위 모델과 오차범위 안에서 비슷해, 세 번째 신호 추가의 이득이 ECG에서는 PPG·PCG만큼 뚜렷하지 않았다.
지연 정렬기는 원신호에서 기준이 되는 박동 사건을 검출할 수 있다는 전제가 필요해, 잡음이 매우 심한 녹음에서는 비지도 방식의 정렬로 대체된다.
모든 결과는 인코더를 고정한 채 선형 분류기만 학습시킨 것으로, 인코더 전체를 미세조정하거나 더 큰 인코더로 확장하는 실험은 앞으로의 과제로 남겨졌다.
왜 중요한가
지금까지 심전도·맥박·심음 모델은 각자 따로 만들어졌는데, 이 연구는 세 신호가 서로를 가르치는 훈련 선생님 역할을 할 수 있음을 보여준다. 웨어러블 기기나 청진 장비 등 서로 다른 센서에서 얻은 데이터를 하나의 공유 모델로 묶어낼 수 있다면, 각 센서마다 별도 모델을 새로 만드는 비용과 데이터 부족 문제를 줄일 길이 열린다.
이 논문의 용어
JEPA(Joint-Embedding Predictive Architecture) · 원본 신호를 그대로 복원하는 대신, 가려진 부분에 대응하는 '숨은 표현(잠재 벡터)'을 맞히도록 학습하는 방식
AUROC · 분류 모델이 양성과 음성을 얼마나 잘 구별하는지 나타내는 지표로, 1에 가까울수록 좋다
선형 프로브(linear probing) · 미리 학습된 인코더는 그대로 고정해 두고, 그 위에 얇은 선형 분류기만 새로 학습시켜 성능을 측정하는 평가 방법
지연 정렬기(delay aligner) · 전기·혈류·소리 신호가 같은 심장 박동을 서로 다른 시점에 나타내므로, 그 시간차(지연)를 자동으로 추정해 신호를 맞춰주는 학습된 모듈
동적 이동 평균 모멘텀 인코더(momentum encoder) · 학습 중인 인코더의 가중치를 천천히 평균 내어 만든 별도의 인코더로, 학습 목표(정답에 해당하는 값)를 안정적으로 제공하는 역할을 한다
