9개 논문 개념별 정리

 

UDA with Pseudo-Labeling

• [2019]Pseudo-Labeling Curriculum for Unsupervised Domain Adaptation
  • 초록 
  • To learn target discriminative representations, using pseudo-labels is a simple yet effective approach for unsupervised domain adaptation. However, the existence of false pseudo-labels, which may have a detrimental influence on learning target representations, remains a major challenge.
    
    To overcome this issue, we propose a pseudo-labeling curriculum based on a density-based clustering algorithm. Since samples with high density values are more likely to have correct pseudo-labels, we leverage these subsets to train our target network at the early stage, and utilize data subsets with low density values at the later stage. We can progressively improve the capability of our network to generate pseudo-labels, and thus these target samples with pseudo-labels are effective for training our model. Moreover, we present a clustering constraint to enhance the discriminative power of the learned target features.
    Our approach achieves state-of-the-art performance on three benchmarks: Office-31, imageCLEF-DA, and Office-Home.
  • 밀도기반 clustering 알고리즘을 이용해 UDA에서  pseudo-labeling curriculum을 이용했다. 

https://arxiv.org/pdf/1908.00262

• [2022]Efficient and Robust Pseudo-Labeling for Unsupervised Domain Adaptation
• 초록
• Unsupervised domain adaptation is to transfer knowledge from an annotated source domain to a fully-unlabeled target domain. The conventional methods consider the data which exceed a certain threshold of confidence as pseudo-abeled data for the target domain, and thus choosing the appropriate threshold affects the target performance.
  In this paper, we propose a new confidence-based weighting scheme for obtaining pseudo-labels and an adaptive threshold adjustment strategy to provide sufficient and accurate pseudo-labels throughout the training. To be precise, our confidence-based weighting scheme generates pseudo-labels to have a different contribution based on the confidence, which makes the performance less sensitive to the threshold. Also, the proposed adaptive threshold adjustment method chooses the threshold according to the degree of adaptation of a network to the target domain, and thus obviates the need for an exhaustive search for the appropriate threshold.
   Experimental results on a digit classification task show that the proposed methods efficiently utilizes the pseudo-labels to preserve sufficiency and accuracy.
  
  비지도 도메인 적응은 주석이 달린 소스 도메인에서 레이블이 완전히 없는 대상 도메인으로 지식을 전달하는 것이다. 기존 방법은 특정 신뢰 임계값을 초과하는 데이터를 대상 도메인에 대한 의사 레이블 데이터로 간주하므로 적절한 임계값을 선택하면 대상 성능에 영향을 미친다. 본 논문에서는 의사 레이블을 얻기 위한 새로운 신뢰 기반 가중치 체계와 훈련 전반에 걸쳐 충분하고 정확한 의사 레이블을 제공하기 위한 적응형 임계값 조정 전략을 제안한다. 
  
  정확하게 말하면, 우리의 confidence-based weighting scheme은 신뢰도에 따라 다른 기여도를 갖도록 의사 labels을 생성하므로 성능이 임계값에 덜 민감해진다. 
  또한, 제안된 적응적 임계값 조정 방법은 adaptation of a network to the target domain 정도에 따라 임계값을 선택하므로 적절한 임계값에 대한 exhaustive search이 필요하지 않다.
   digit classification 작업에 대한 실험 결과는 제안된 방법이 의사 labels을 효율적으로 활용하여 충분성과 정확성을 유지한다는 것을 보여준다.
• target data에서 certian threshold를 넘은 confidence를 pseudo label로 삼았다. 그래서 adaptive threshold adjustment 의 전략으로 traget model의 성능을 올렸다. confidence-based weighting scheme generates pseudo-labels to have a different contribution based on the confidence, which makes the performance less sensitive to the threshold.

https://ieeexplore-ieee-org-ssl.oca.korea.ac.kr/stamp/stamp.jsp?tp=&arnumber=9023239
 
GPL: Generative Pseudo Labeling for Unsupervised Domain Adaptation of Dense Retrieval

Dense retrieval approaches can overcome the lexical gap and lead to significantly improved search results. However, they require large amounts of training data which is not available for most domains. As shown in previous work (Thakur et al., 2021b), the performance of dense retrievers severely degrades under a domain shift. This limits the usage of dense retrieval approaches to only a few domains with large training datasets.

 In this paper, we propose the novel unsupervised domain adaptation method Generative Pseudo Labeling (GPL), which combines a query generator with pseudo labeling from a cross-encoder. On six representative domainspecialized datasets, we find the proposed GPL can outperform an out-of-the-box state-of-heart dense retrieval approach by up to 9.3 points nDCG@10. GPL requires less (unlabeled) data from the target domain and is more robust in its training than previous methods.

 We further investigate the role of six recent pre-raining methods in the scenario of domain adaptation for retrieval tasks, where only three could yield improved results. The best approach, TSDAE (Wang et al., 2021) can be combined with GPL, yielding another average improvement of 1.4 points nDCG@10 across the six tasks. The code and the models are available.
 
밀도 높은 검색 접근 방식은 어휘 격차를 극복하고 검색 결과를 크게 향상시킬 수 있다. 그러나 대부분의 도메인에서 사용할 수 없는 많은 양의 훈련 데이터가 필요하다. 이전 연구(Thakur et al., 2021b)에서 볼 수 있듯이, 밀도 높은 검색 접근 방식은 도메인 이동 하에서 성능이 심각하게 저하된다. 이는 밀도 높은 검색 접근 방식의 사용을 대규모 훈련 데이터 세트가 있는 몇 개의 도메인으로만 제한한다.

 본 논문에서는 쿼리 생성기와 교차 인코더의 의사 레이블링을 결합한 새로운 비지도 도메인 적응 방법 생성 의사 레이블링(GPL)을 제안한다. 6개의 대표적인 도메인 전문 데이터 세트에서 제안된 GPL은 최대 9.3 포인트 nDCG@10만큼 최적의 상태 밀도 검색 접근 방식을 능가할 수 있음을 발견했다. GPL은 대상 도메인에서 더 적은 ( 레이블이 지정되지 않은) 데이터를 필요로 하며 이전 방법보다 훈련이 더 강력하다.

 우리는 검색 작업을 위한 도메인 적응 시나리오에서 최근 6가지 사전 훈련 방법의 역할을 추가로 조사하며, 여기서 3가지 방법만 개선된 결과를 얻을 수 있었습니다. 가장 좋은 접근 방식인 TSDAE(Wang et al., 2021)는 GPL과 결합하여 6가지 작업에서 평균 1.4점 nDCG@10을 추가로 개선할 수 있습니다. 코드와 모델을 사용할 수 있습니다.
 .

https://arxiv.org/pdf/2112.07577
밀도높은 Dense retrieval approaches 가 lexical gap을 줄이고 검색성능을 늘렸지만 // 이미지 안써서 패스

Continuous Pseudo-Label Rectified Domain Adaptive Semantic Segmentation
https://openaccess.thecvf.com/content/CVPR2023/html/Gong_Continuous_Pseudo-Label_Rectified_Domain_Adaptive_Semantic_Segmentation_With_Implicit_Neural_CVPR_2023_paper.html

Unsupervised domain adaptation (UDA) for semantic segmentation aims at improving the model performance on the unlabeled target domain by leveraging a labeled source domain. Existing approaches have achieved impressive progress by utilizing pseudo-labels on the unlabeled target-domain images.
Yet the low-quality pseudo-labels, arising from the domain discrepancy, inevitably hinder the adaptation. This calls for effective and accurate approaches to estimating the reliability of the pseudo-labels, in order to rectify them.

In this paper, we propose to estimate the rectification values of the predicted pseudo-labels with implicit neural representations.

We view the rectification value as a signal defined over the continuous spatial domain. Taking an image coordinate and the nearby deep features as inputs, the rectification value at a given coordinate is predicted as an output. This allows us to achieve high-esolution and detailed rectification values estimation, important for accurate pseudo-label generation at mask boundaries in particular.

The rectified pseudo-labels are then leveraged in our rectification-aware mixture model (RMM) to be learned end-to-end and help the adaptation.
We demonstrate the effectiveness of our approach on different UDA benchmarks, including synthetic-to-real and day-to-night. Our approach achieves superior results compared to state-of-the-art. The implementation is available at https://github.com/ETHRuiGong/IR2F.

의미론적 분할을 위한 비지도 도메인 적응(UDA)은 레이블이 지정된 소스 도메인을 활용하여 레이블이 지정되지 않은 대상 도메인에 대한 모델 성능을 개선하는 것을 목표로 합니다. 기존 접근 방식은 레이블이 지정되지 않은 대상 도메인 이미지에 의사 labels을 활용하여 인상적인 진전을 이루었습니다. 그러나 도메인 불일치로 인해 발생하는 저품질 의사 labels은 필연적으로 적응을 방해합니다. 이를 수정하기 위해서는 의사 labels의 신뢰성을 추정하는 효과적이고 정확한 접근 방식이 필요합니다. 

본 논문에서는 암시적 신경 표현을 사용하여 예측된 의사 labels의 정류 값을 추정할 것을 제안합니다. 저희는 정류 값을 연속 공간 도메인에 정의된 신호로 봅니다. 이미지 좌표와 인근 심층 특징을 입력으로 하면 주어진 좌표에서 정류 값이 출력으로 예측됩니다. 이를 통해 특히 마스크 경계에서 정확한 의사 레이블 생성에 중요한 고해상도 및 상세한 정류 값 추정을 달성할 수 있습니다. 

그런 다음 정류된 의사 labels을 정류 인식 혼합 모델(RMM)에 활용하여 엔드투엔드 학습을 하고 적응을 돕습니다. 
저희는 합성 대 실제 및 주간을 포함한 다양한 UDA 벤치마크에서 접근 방식의 효과를 입증합니다. 저희의 접근 방식은 최첨단에 비해 우수한 결과를 달성합니다. 구현은 https://github.com/ETHRuiGong/IR2F 에서 확인할 수 있습니다.

• 기존에 예측된 가짜라벨의 domain discrepancy로 인해 발샌한 접품질의 가짜라벨이 적응을 방해하는 문제가 있었음. 가짜라벨의 수정값을 추정하기 위해 implicit neural represntation을 활용한다. 

CIDA
CI-DA define new trainig environment learning target domain class called class-incremental domain adaptation(CI-DA) inspired by Prototypical Networks. non-labelled environment is so difficult to train so CI-DA used one-shot learning with target sample. so tried to not only classify target-source shared class but also assign target private samples with unique semantic label to each class. so basically it assumes target class shared with source domain class is unlabelled but target private classes are assumed have a label for one-shot learning. 
 
Multi-Source Domain Adaptation for Object Detection with Prototype-based Mean Teacher
https://arxiv.org/pdf/2309.14950
 

Adapting visual object detectors to operational target domains is a challenging task, commonly achieved using unsupervised domain adaptation (UDA) methods. Recent studies have shown that when the labeled dataset comes from multiple source domains, treating them as separate domains and performing a multi-source domain adaptation (MSDA) improves the accuracy and robustness over blending these source domains and performing a UDA.

 

For adaptation, existing MSDA methods learn domain-invariant and domain-specific parameters (for each source domain).

 However, unlike single-source UDA methods, learning domain-specific parameters makes them grow significantly in proportion to the number of source domains. This paper proposes a novel MSDA method called Prototype-based Mean Teacher (PMT), which uses class prototypes instead of domain-specific subnets to encode domain-specific information. These prototypes are learned using a contrastive loss, aligning the same categories across domains and separating different categories far apart.

 

Given the use of prototypes, the number of parameters required for our PMT method does not increase significantly with the number of source domains, thus reducing memory issues and possible overfitting.

 

Empirical studies indicate that PMT outperforms state-of-the-art MSDA methods on several challenging object detection datasets. 

 

visual object detectors을 운영 대상 도메인에 적응시키는 것은 일반적으로 unsupervised domain adaptation(UDA) 방법을 사용하여 달성되는 어려운 작업이다. 최근 연구에 따르면 레이블이 지정된 데이터 세트가 multiple source domains에서 왔을 때 별도의 도메인으로 취급하고 multi-source domain adaptation(MSDA)을 수행하면 이러한 소스 도메인을 혼합하고 UDA를 수행하는 것보다 정확도와 견고성이 향상된다.

적응을 위해, 기존의 MSDA 방법들은 (각각의 소스 도메인에 대해) domain-invariant and domain-specific parameters을 학습한다.

그러나 single-source UDA methods과 달리 학습 domain-specific parameters은 소스 도메인의 수에 비례하여 크게 성장하도록 만든다. 본 논문에서는 도메인별 서브넷 대신 클래스 프로토타입을 사용하여 도메인별 정보를 인코딩하는 프로토타입 기반 평균 교사(PMT)라는 새로운 MSDA 방법을 제안한다. 이러한 프로토타입은 대조 손실을 사용하여 학습되어 도메인 간에 동일한 카테고리를 정렬하고 서로 다른 카테고리를 멀리 분리한다.

프로토타입의 사용을 고려할 때, 우리의 PMT 방법에 필요한 파라미터의 수는 소스 도메인의 수에 따라 크게 증가하지 않으므로 메모리 문제와 가능한 과적합을 줄일 수 있다.

경험적 연구에 따르면 PMT는 여러 까다로운 물체 감지 데이터 세트에서 최첨단 MSDA 방법을 능가한다.

• vision object dection 영역에서 multiple source domain 을 이용해 multiple-source domain adaptation을 수행하여 급증한 파라미터를 막기 위해 도메인별 서브넷 대신 class prototype을 사용하여 과적합과 메모리문제를 줄였다. 
  근데 이것도 pseuo-labeling해서 pass

• Prototypical networks for few-shot learning
•  
• 우리는 분류기가 각 새로운 클래스의 소수의 예만 주어지면 훈련 세트에서 볼 수 없는 새로운 클래스로 일반화해야 하는 few-shot classification 문제에 대한 프로토타입 네트워크를 제안한다.
  
  Prototypical networks 각 클래스의 프로토타입 표현까지의 거리를 계산하여 분류를 수행할 수 있는 메트릭 공간을 학습합니다. 최근 몇 번의 샷 학습에 대한 접근 방식에 비해 이는 제한된 데이터 체제에서 유용한 더 간단한 귀납적 편향을 반영하며 우수한 결과를 달성합니다. 저희는 일부 간단한 설계 결정이 복잡한 아키텍처 선택 및 메타 학습과 관련된 최근 접근 방식에 비해 상당한 개선을 가져올 수 있음을 보여주는 분석을 제공합니다. 저희는 프로토타입 네트워크를 제로 샷 학습으로 확장하고 CU-Birds 데이터 세트에서 최첨단 결과를 달성합니다.
• prototypical network를 제안하여 unsupervised training 대신에 few shot을 통해 학습했는데 domain adaptation이 아니다.. 흑 

icaRL
2024.04.17 - [AI] - iCaRL: Incremental Classifier and Representation Learning