0329 ProCA

오늘 볼 논문은~ 두구두두구두

프로카 되시겠다.

선정이유 : 일요일 발표할 논문이 비트가 닳도록 언급함. 

https://arxiv.org/pdf/2207.10856.pdf

[14] H. Lin et al., “Prototype-guided continual adaptation for classincremental
unsupervised domain adaptation,” in Proc. Eur. Conf.
Comput. Vis. (ECCV), Oct. 2022, pp. 351–368.

ABSTRACT

• CI-UDA (class incrementa unsupervised domain adaptation) 연구과정에서의 어려움
  1. source/target label set가 일관적이지 않아 정확한 domain alignment를 진행하기 어렵다. 
  2. current step에서 previous target class는 이용불가능한 것이 이전 knowledge를 잊어버리는 결과를 낳았다.
• 해결방법 제안 : Prototype-guided Continual Adaptation (ProCA) method
  • Label prototype identification : 같은 클래스를 공유하는 target samples의 누적확률분포(cumulative prediction probabilities)를 감지하여 target label prototype 식별 
  • Prototype-based alignment and replay : identified label prototypes에 기반하여 두 도메인을 align하고 모델로하여금 이전 knowledge를 유지하도록 유도(enforce)한다. 
  • 이 두 가지 전략을 통해 ProCA는 source 모델을 class-incremental unlabeled target domain에 효과적으로 적응시켰다.

1. Introduction

• UDA핵심과제인 Src/Tgt Domain 간의 distribution shift이슈를 해결하기 위한 기존의 UDA methods는 domain-invariant feature learning 혹은 image transformation 을 통한 domain alignment 수행뿐이었다. 
  
  
• 시나리오(그림1): 동물 스케치를 현실 이미지 동물 인식에 활용
  • 많은 labeled sketches와 unlabeled real-world image comes incrementally(육지동물 다음에 바다동물을 수집)를 보면, images of all animals가 available해지길 기다리는 것보다는 지금까지 (from partial animal class)에서 관측된 target image 로 source 모델을 adap하는 것이 보다 memory-efficient하고 time-efficient할 것이다. 

그림1. labeled source data는 언제나 접근가능하지만 unlabeled target data는 클래스가 증가하는 방식으로 온라인으로 찾아온다. 새로운 target data가 오면, CI-UDA는 이전 target data이 이용불가함으로 source domain과 새 target data를 algin 하고 이전 target data의 knowledge를 얻으려 할 것이다.

• (e.g)즉,  먼저 육지동물의 target image부터 adaptation 을 진행하고 그 다음 바다동물을 (adapt) 해야 한다. 바다동물로 source model adaptation 을 진행할 때, data storage cost 절약 때문에, 육지동물의 previous samples이 이용불가라는 점에 유의한다. 
• 모든 target class가 이용가능해질 것이라 가정하는 기존 UDA 방법은 곧잘 실패한다. 
• 그래서 연구한 CI-UDA작업은 labeled source samples는 항상 이용가능하고, unlabeled target samples는 incrementally 하게 제공되고 한 번에 일부 클래스만 이용가능한 (상태로) 연구했다. 

 

• CI-UDA의 두가지 특징이 있다. 
  • 1)Current time step의 target categories는 never seen before이며 source label space의 subspace만 차지한다.
  • 2)previosuly seen category의 target samples는 later adaptation 에서는 이용불가능해질 것이다. 
  • 따라서 UDA의 common challenge를 제외하고 CI-UDA의 과제는 Domain shift 뿐 아니라 2개 더있다.
    1. each time step 마다 how to detect the shared classes between Src/Tgt domain
    2. 새로운 target class 학습마다 겪는 catastrophic forgetting alleviation
• CI-UDA의 핵심과 관련 최근연구 : previous target samples 없는 상태에서 DA를 continually 수행하는 것 
  • Storing image prototypes for previous classes[36] : "retain knowledge에 도움이 된다",
  • Feature prototypes : "domain alignment[32]에도 사용된다."
  • 이것들을 보면 → label prototypes가 모든 문제를 동시에 처리할 수 있지 않을까? 하지만 knowledge retaining[36]을 위한 image prototypes는 data labels을 필요로 하기 때문에 단순히 현존하는 방법들[32,36,35]을 결합한 것은 totally unlabeled한 CI-UDA 에 실현가능하지 않다. 더욱이 feature prototypes[32,35]는 feature extractor를 갱신할 수 없으므로 단지 그들을(prototypes) detecting하는 것만으로는 CI-UDA 의 knowledge forgetting이슈를 극복할 수 없다. 
• CI-UDA의 ProCA(Prototype-guided Continual Adaptation) 2가지 해결전략이 있다.
  1. label prototype identification 전략 : target label prototypes를 shared classes between Src/Tgt domain detecting 으로 식별한다. Src/Tgt domain간의 inconsistent한 클래스 공간으로 인해 label prototype identification 이 어렵다는 것을 주목해라. 그래서 detecting shared class는 중요하지만 target labels의 부재로 난해하다. 이를 극복하기 위해 shared classes와 source private class의 차이를 연구했다. 실험을 통해 발견한 것이 shared classes의 누적 확률(cumulative probabilities)이 source private class의 누적확률보다 큰 경우가 많다는 것이다.
     • 이 결과에 따라 target samples의 누적 확률을 활용하여 shared classes detecting 하고 감지된 shared classes을 사용하여 target label prototypes을 식별한다.
  2. prototype-based alignment and replay 전략 : identified label prototypes를 기반으로 각 target label prototype을 source center with same class 에 aligning하는 domain adaptation 을 수행했고 모델로 하여금 previous categories로부터 배운 label prototypes를 통해 전달된 knowledge를 retain 하도록 함으로써 catastrophic forgetting를 극복했다. 
• 3가지 benchmark 데이터셋(office31-ci, officehome-ci,Imagenet-caltech-ci)에 대한 실험은 ProCa가 CI-UDA를 처리할 수 있음을 보여준다. 
• 요약하면 다음과 같다(원문)
  
  • CI-UDA에서 unlabeled target samples가 부분적으로 한 번에 일부클래스만 나타나는 조건을 맞닥드리면 힘들다. 이 이슈의 솔루션으로 ProCA.를 제안한다.
  • domain discrepancy :  prototype-based alignment로 해결하고, 
  • catastrophic forgetting : prototype-based knowledge replay로 해결한다. 
  • 또한 ProCA는 CI-UDA 를 향상시키기 위해 현존하는 부분 도메인 적응 방법론들에도 적용가능하다. 

We study a new yet difficult problem, called CI-UDA, where unlabeled target samples come incrementally and only partial target classes are available at a time. Compared to vanilla UDA, CI-UDA does not assume all target data to be known in advance, and thus opens the opportunity for tackling more practical UDA scenarios in the wild.

We propose a novel ProCA to handle CI-UDA. By innovatively identifying target label prototypes, ProCA is able to alleviate both domain discrepancies via prototype-based alignment and catastrophic forgetting via prototypebased knowledge replay. Moreover, ProCA can be applied to enhance existing partial domain adaptation methods to overcome CI-UDA.

2024.04.06 - [AI] - 0405 ProCa

0405 ProCa