Deep Visual Domain Adaptation: A Survey 3

2024.03.21 - [AI] - Deep Visual Domain Adaptation: A Survey 읽기

2024.03.22 - [AI] - Deep Visual Domain Adaptation: A Survey2

One-step DA 접근	요약	Subsettings (하위집합)
Discrepancy(불일치)기반	label/unlabel 타겟 데이터를 통해 deep network를 파인튜닝한다. 그리하여 domain shift를 줄인다.	class (분류) 기준
		statistic(통계) 기준
		architecture (구조)기준
		geometric (기하)기준
Adversarial(적대) 기반	adversarial 목적을 가지고 domain discriminator(판별기)를 통해 domain confusion을 촉진한다.	generative(생성) models
		non-generative(비생성) models
Reconstruction(재구성) 기반	data reconstruction을 보조 작업으로 활용해 특징 invariance를 강화한다.	인코더-디코더 reconstruction
		적대적 reconstruction

 

오늘(3일째 오늘..)은 one-step과 multi-step을 볼테니 논문에 참조된 테이블을 먼저 보자. 

•  Classifier adaptation을 Residual Learning frame work (Resnet 말하는 것 같다) 에 Casting 할 때, 어떤 논문 [75]Unsupervised domain adaptation with residual transfer networks(16')는 psudo label을 사용해 조건부 엔트로피 $E$($D^t$ ,$f^t$) 를 구축했다. 이를 통해 target Classifier 인 $f^t$ ​ 가 target-specific(특정) 구조에 잘 맞는지 확인할 수 있었다고 한다. ★(어떻게?)

IV.ONE-STEP DOMAIN ADAPTATION  -  A. Homogeneous Domain Adaptation - 1) Discrepancy-Based Approaches

이전 까지 Class 기준을 봤다. 클래스 기준은 소스도메인과 타겟도메인간의 거리를 구하고(metric learning), class 정보로 soft label supervised DA 를 진행한 것으로 보인다. 라벨을 못쓰면 psudo label 이나 속성 표현으로 데이터를 대체했다. 

 

살펴볼 Statistic 기준에 대해 앞 요약을 다시보자.

• Statistic 기준 : 소스-대상 도메인 간 statistic distribution shift을 Align한다. distribution shift 을 줄이기 위해 가장 일반적으로 사용되는 방법은 최대 평균 불일치(MMD)과 correlation alignment(CORAL)[109], [87], Kullback-
  Leibler(KL) divergence [144] 및 H divergence 등이다.

 

• 불일치 기반 접근방식은 통계적 기준과 포커스가 다르다. discrepancy-based 가 유사한 레이블, 속성 레이블등 라벨 을 대체할 것들에 주목하는 동안 다른 작업들은 domain distribution 불일치를 minimize 하기 위한 Domain-invariant representation 을 비지도 DA로 학습하는 것(MMD)에 힘썼다. 
• • MMD : 두 데이터셋의 분포를 커널부터 샘플까지 비교하기 위한 효과적인 metric; s와 t라고 할 때 수식은 아래와 같다. 

  • 

    MMD 공식

  • $\phi$는 원본데이터를 reproducing kernel 해서Hilbert space에 매핑하는 커널함수를 나타내며  ${ \|\phi \|}_\mathcal{H}\leqq1$ 는 RKHSH의 unit ball에서 함수들의 집합을 정의한다. 
  • 이상의 내용을 바탕으로 Ghifary는 MMD 메트릭을 single hidden layer와 feedforward neural networks하여 도입하는 model을 제안하였다. MMD 메트릭은 latent space의 distribution mismatch을 줄이기 위해 각 도메인의 표현 간에 계산된다. MMD의 경험적 추정치는 다음과 같다:

  • 

    MMD

  • 그 후, Tzeng[120]과 Long은 심층 CNN 모델로 MMD를 확장하여 큰 성공을 거두었다. Tzeng에 의한 deep domain confusion network (DDC)는 가중치가 공유된 소스 도메인과 대상 도메인에 대해 두 개의 CNN을 사용했다. 네트워크는 소스 도메인의 분류 손실에 최적화된 반면, 도메인 차이는 MMD 메트릭을 사용하는 적응 계층에 의해 측정된다.
• 일단 서베이 논문은 여기까지