컴백부터 K-뷰티까지 — K-컬쳐의 모든 것을 메일로 받아보세요메일로 받아보기

METAL MEDIA

이미지 노이즈 제거 GAN에서 채널끼리 정보를 나누게 했더니 성능이 올랐다

arXiv:2608.197892026-08-21

TT-net: Quantum Inspired Tensor Network Denoising in Conditional GANs

이미지 노이즈 제거 GAN에서 채널끼리 정보를 나누게 했더니 성능이 올랐다

이 연구는 이미지 잡음 제거용 GAN(생성 모델과 판별 모델이 경쟁하며 학습하는 방식)에서 쓰이던 SVD(특이값 분해, 행렬을 압축·정리하는 선형대수 기법) 기반 필터를 텐서 트레인(양자 다체계 시뮬레이션에서 쓰이던 기법)으로 바꾼 TT-Net을 제안한다. 기존 SVD-Net은 채널마다 따로따로 정보를 걸러내 채널 간 관계를 전혀 보지 못했지만, TT-Net은 두 단계 분해를 통해 채널을 서로 비교하며 정보를 거른다. CIFAR-10 이미지에 가우시안 잡음, 모션 블러, 소금-후추 잡음을 입혀 실험한 결과 TT-Net이 세 가지 잡음 모두에서 SVD-Net보다 화질 지표(PSNR, SSIM)가 높았다.

METAL MEDIA 해설 도표

이미지 노이즈 제거 GAN에서 채널끼리 정보를 나누게 했더니 성능이 올랐다

  1. 01기존 SVD-Net은 특징 맵의 채널마다 따로 SVD를 적용해 채널끼리 비교가 불가능했던 반면, TT-Net은 두 번의 분해(2-cut 텐서 트레인)로 채널 간 정보를 함께 활용한다
  2. 02동일한 생성기/판별기 구조, 동일한 학습 조건에서 잡음 제거 블록만 SVD에서 텐서 트레인으로 바꿔 비교했다
  3. 03가우시안 잡음 기준 PSNR 2.68dB, SSIM 0.0513 향상, 모션 블러는 PSNR 8.32dB, SSIM 0.3798 향상, 소금-후추 잡음은 PSNR 0.99dB, SSIM 0.0165 향상을 SVD-Net 대비 기록했다
  4. 04가우시안 잡음에서는 TT-Net이 비교 대상이었던 EigenGAN과 최신 기법 Pix2pix보다도 더 높은 PSNR·SSIM을 기록했다
  5. 05TT-Net은 학습이 진행되면서 판별기를 속이려는 손실(적대적 손실)이 일찍 정체되는데도 복원 품질은 계속 좋아지는 현상이 관찰되어, 적대적 학습이 실제로 얼마나 기여하는지에 대한 열린 질문을 남겼다
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

  1. 기존 SVD-Net은 특징 맵의 채널마다 따로 SVD를 적용해 채널끼리 비교가 불가능했던 반면, TT-Net은 두 번의 분해(2-cut 텐서 트레인)로 채널 간 정보를 함께 활용한다
  2. 동일한 생성기/판별기 구조, 동일한 학습 조건에서 잡음 제거 블록만 SVD에서 텐서 트레인으로 바꿔 비교했다
  3. 가우시안 잡음 기준 PSNR 2.68dB, SSIM 0.0513 향상, 모션 블러는 PSNR 8.32dB, SSIM 0.3798 향상, 소금-후추 잡음은 PSNR 0.99dB, SSIM 0.0165 향상을 SVD-Net 대비 기록했다
  4. 가우시안 잡음에서는 TT-Net이 비교 대상이었던 EigenGAN과 최신 기법 Pix2pix보다도 더 높은 PSNR·SSIM을 기록했다
  5. TT-Net은 학습이 진행되면서 판별기를 속이려는 손실(적대적 손실)이 일찍 정체되는데도 복원 품질은 계속 좋아지는 현상이 관찰되어, 적대적 학습이 실제로 얼마나 기여하는지에 대한 열린 질문을 남겼다
Figure 1: Representative test-set outputs across all four models and three noise types. Ground truth is shown once per row since it is identical across models. Each model’s own noisy input and output are shown alongside it.
Figure 1: Representative test-set outputs across all four models and three noise types. Ground truth is shown once per row since it is identical across models. Each model’s own noisy input and output are shown alongside it.
Figure 2: Discriminator output probabilities D⁡(real)/D⁡(fake) over training, SVD-Net vs. TT-Net, by noise type.
Figure 2: Discriminator output probabilities D⁡(real)/D⁡(fake) over training, SVD-Net vs. TT-Net, by noise type.
Table 1: Feature map shape at each TT-Net / SVD-Net insertion point.
Insertion pointChannelsHeightWidth
After 1st encoder stage643232
After 2nd encoder stage1281616
After 3rd encoder stage25688
Figure 3: Total generator loss (ℒG=ℒGa​d​v+ℒrecon, Section 4.2) over training, SVD-Net (top) vs. TT-Net (bottom), by noise type, linear scale.
Figure 3: Total generator loss (ℒG=ℒGa​d​v+ℒrecon, Section 4.2) over training, SVD-Net (top) vs. TT-Net (bottom), by noise type, linear scale.
Figure 4: Generator loss components (Ga​d​v, L2, MS-SSIM, recon) over training, SVD-Net (top) vs. TT-Net (bottom), by noise type. See Section 4.2 for the loss definitions, ℒrecon=δ⋅ℒMS-SSIM+(1−δ)⋅ℒL​2,δ=0.84.
Figure 4: Generator loss components (Ga​d​v, L2, MS-SSIM, recon) over training, SVD-Net (top) vs. TT-Net (bottom), by noise type. See Section 4.2 for the loss definitions, ℒrecon=δ⋅ℒMS-SSIM+(1−δ)⋅ℒL​2,δ=0.84.
Table 2: Optimized hyperparameters used for each model, with a uniform batch size of 32 applied across all four.
Modellr (G, D)β1β2Optimizer
Pix2pix2×10−40.50.999Adam
EigenGAN2×10−30.50.999Adam
SVD-Net1×10−40.90.999Adam
TT-Net1×10−40.90.999Adam
Figure 5: Validation PSNR over training, SVD-Net vs. TT-Net, by noise type.
Figure 5: Validation PSNR over training, SVD-Net vs. TT-Net, by noise type.
Figure 6: Validation SSIM (windowed) over training, SVD-Net vs. TT-Net, by noise type.
Figure 6: Validation SSIM (windowed) over training, SVD-Net vs. TT-Net, by noise type.
Table 3: Test-set PSNR and SSIM (standard windowed formulation) across noise types, using each model’s optimized hyperparameters (Section 4.1) with a uniform batch size of 32. Bold indicates the best value across all four models. TT-Net achieves the best PSNR and SSIM of any model on Gaussian noise. †SVD-Net’s motion-blur result reflects a late-training discriminator collapse rather than a converged model (Section 5.3).
GaussianMotion BlurSalt & Pepper
ModelPSNRSSIMPSNRSSIMPSNRSSIM
Pix2pix25.520.746636.180.964341.790.9881
EigenGAN25.180.754526.710.839834.240.9513
SVD-Net23.600.745518.02†0.4260†28.980.8761
TT-Net26.280.796826.340.805829.970.8926
Figure 7: MS-SSIM loss component over training, SVD-Net vs. TT-Net, by noise type.
Figure 7: MS-SSIM loss component over training, SVD-Net vs. TT-Net, by noise type.

왜 중요한가

잡음 제거처럼 이미지 품질을 다루는 실무에서, 채널 간 정보를 활용하는 간단한 구조 변경만으로 성능이 개선될 수 있음을 보여준다. 또한 양자 컴퓨팅 시뮬레이션에서 쓰이던 텐서 네트워크 기법이 실제 딥러닝 응용에 실용적으로 쓰일 수 있다는 사례를 제시한다.

이 논문의 용어

  • 텐서 트레인(Tensor Train) · 다차원 배열(텐서)을 여러 개의 작은 행렬 곱으로 쪼개어 표현하는 방법. 양자물리학에서는 행렬곱상태(MPS)라 불림
  • SVD(특이값 분해) · 행렬을 세 개의 간단한 행렬 곱으로 나눠 중요한 정보만 남기고 압축하는 선형대수 기법
  • GAN(생성적 적대 신경망) · 가짜 이미지를 만드는 생성기와 진짜/가짜를 구분하는 판별기가 서로 경쟁하며 학습하는 모델 구조
  • PSNR/SSIM · 이미지 복원 품질을 재는 지표로, 값이 클수록 원본과 더 비슷함을 의미
  • 판별기 붕괴(discriminator collapse) · 학습 도중 판별기가 생성기를 압도해버려 생성 결과 품질이 갑자기 무너지는 현상

저자 · Michal A. Sterzel, Marko J. Ran\v{c}i\'c

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL MEDIA 최신 기사

그림 출처: Michal A. Sterzel et al., arXiv:2608.19789, CC BY 4.0