OOD 데이터는 학습 데이터 분포와 다른 분포에서 온 데이터를 의미합니다. 즉, 모델이 학습하는 동안 접하지 않았던, 완전히 새로운 형태의 데이터입니다. OOD 데이터는 모델의 일반화 능력을 테스트하거나, 예상치 못한 상황에 모델이 어떻게 반응하는지 평가하는 데 사용됩니다.
예를 들어, 고양이와 개를 구별하기 위해 학습된 모델에 말이나 코끼리 사진을 입력하는 경우가 OOD에 해당합니다.
초점: OOD 데이터는 모델이 학습한 데이터 분포와 다른 새로운 분포에서 온 데이터를 말합니다. 즉, 모델이 학습하는 과정에서 경험하지 못한 패턴이나 케이스를 다루는 것에 초점을 맞춥니다.
목적: OOD 데이터의 처리는 모델이 알 수 없는, 예측하기 어려운 새로운 상황에 대처할 수 있는지를 평가하는 데 있습니다. 이는 모델의 일반화 능력과 새로운 상황에의 적응력을 검증하는 데 중요합니다.
이상치(Outlier)
이상치는 주로 데이터 분포 내에서 관측치가 일반적인 패턴에서 크게 벗어난 값으로, 데이터 셋 내에서의 개별적인 이상값을 의미합니다.
이상치는 데이터 수집 과정에서의 오류, 측정상의 실수, 또는 극단적인 변동성 등으로 발생할 수 있습니다.
예를 들어, 평균적으로 10에서 20 사이의 값을 가지는 데이터 세트에서, 100이라는 값은 이상치로 간주될 수 있습니다.
이상치는 주어진 데이터 세트 내에서 평균적인 패턴이나 범위에서 크게 벗어나는 데이터 포인트를 의미합니다. 이상치는 데이터 수집 과정의 오류, 측정상의 실수, 혹은 극단적인 변동성 등으로 인해 발생할 수 있습니다
초점: 이상치는 주어진 데이터 세트 내에서 평균적인 패턴이나 범위에서 크게 벗어나는 데이터 포인트를 의미합니다. 이상치는 데이터 수집 과정의 오류, 측정상의 실수, 혹은 극단적인 변동성 등으로 인해 발생할 수 있습니다.
목적: 이상치 탐지의 목적은 데이터의 품질을 검증하고, 필요에 따라 데이터를 정제하여 분석의 정확도를 높이는 것입니다. 이상치는 데이터 분석 결과에 왜곡을 일으킬 수 있기 때문에, 통계적 분석 과정에서 주의 깊게 다뤄져야 합니다.
차이점
적용 범위: OOD는 모델이 처리해야 할 전체 데이터의 범위에 대한 개념이며, 이상치는 주어진 데이터 세트 내의 특정 관측치에 관한 것입니다.
목적: OOD 데이터는 모델의 일반화 및 적응력을 평가하기 위해 사용되는 반면, 이상치는 데이터의 품질을 검증하고 정제하는 과정에서 중요합니다.
두 개념 모두 AI 모델의 robustness(견고성)과 generalization(일반화 능력)을 다루지만, 그 초점과 적용 방법이 다릅니다.
결론적으로, OOD는 모델의 일반화 및 적응력과 관련된 개념이고, 이상치는 데이터 자체의 품질과 분석의 정확성에 관한 문제로 접근됩니다.
Domain Adaptation 과 Doman Generalization
차이점 요약
도메인 적응은 특정한 타겟 도메인에 대한 정보를 활용하여 모델을 조정하는 반면, 도메인 일반화는 여러 도메인에 걸쳐 모델이 일반화될 수 있도록 학습하는 접근 방식입니다.
Doman Adaptation 은 타겟 도메인에 대한 정보가 어느 정도 알려진 경우에 사용되며, Domain Generalizaiton는 타겟 도메인에 대한 정보 없이도 적용될 수 있는 모델을 만드는 데 초점을 둡니다.
목적: 도메인 적응은 모델이 소스 도메인에서 학습되었을 때, 이 모델을 다른 타겟 도메인에 적용하도록 조정하는 과정입니다. 이때 타겟 도메인의 데이터가 일부 또는 전혀 없을 수 있으며, 존재하는 경우에는 이를 활용하여 모델을 조정합니다.
사용 상황: 타겟 도메인에 대한 정보가 어느 정도 주어진 상황에서, 이 정보를 활용하여 모델을 특정 도메인에 맞게 조정합니다.
접근 방식: 도메인 적응 방법은 타겟 도메인의 특성을 모델 학습 과정에 직접 반영하여, 타겟 도메인에서의 성능을 최적화합니다.
도메인 일반화(Domain Generalization)
목적: 도메인 일반화는 모델이 다양한 도메인에 걸쳐 일반화될 수 있도록 학습하는 것을 목표로 합니다. 즉, 소스 도메인에서 학습된 모델이 본 적 없는 새로운 도메인에도 잘 적용될 수 있도록 하는 것입니다.
사용 상황: 모델을 학습할 때 다양한 도메인의 데이터를 이용하거나, 도메인에 구애받지 않는 일반적인 특성을 학습하여, 특정하지 않은 새로운 도메인에도 모델을 적용할 수 있도록 합니다.
접근 방식: 도메인 일반화 방법은 다양한 도메인의 데이터로부터 공통적인 특성을 추출하고, 이를 통해 모델이 새로운 도메인에 대해 강건하게 만드는 데 초점을 맞춥니다.
동영상에서 Unsupervised DA를 하는 이유로 DA대신 fine tuning을 제안할 수도 있으나, finetuning용 데이터도 무시못할 정도로 많은 데이터를 요구하기에 unsupervised를 제안한다고 하였다.
가장 기본적인 방식인 Transfer learning은 source 데이터로 미리 pre-training하고 target 데이터로 fine-tunning하는 solution인데Transfer 과정만 보면 ‘pre-trained model과 target data’만 있으면 되기 때문에 오른쪽 하단에 위치하는 걸로 이해하면 되겠습니다.
'Jigsaw Puzzles'를 이용한 비지도 도메인 적응(Unsupervised Domain Adaptation, UDA)의 구체적인 예시로, 이미지 인식 작업을 들 수 있습니다. 이 예시에서는 자연 환경 이미지(소스 도메인)에서 학습된 모델을 도시 환경 이미지(타겟 도메인)에 적용하는 상황을 가정해 보겠습니다.
1단계: Jigsaw Puzzle 작업을 통한 특징 학습
소스 도메인 준비: 자연 환경 이미지를 수집하여, 이들 이미지를 임의의 조각으로 나눕니다. 각 조각은 이미지의 일부분을 포함하고 있으며, 원래 이미지로부터 잘라낸 순서 정보는 제거됩니다.
자가지도 학습: 나누어진 이미지 조각들을 다시 올바른 순서로 배열하는 'Jigsaw Puzzle' 작업을 모델에게 제시합니다. 이 과정에서 모델은 이미지 내 객체의 형태, 배치, 및 구조적 관계 등을 인식하는 방법을 스스로 학습하게 됩니다. 이러한 학습은 레이블이 필요하지 않으므로 비지도 학습에 해당합니다.
2단계: 타겟 도메인으로의 적응
타겟 도메인 준비: 도시 환경 이미지(레이블 없음)를 수집합니다. 이 이미지들은 모델이 직접적으로 학습하지 않았던, 새로운 도메인에 속합니다.
도메인 적응: 소스 도메인에서 학습된 모델을 사용하여 타겟 도메인의 이미지에 대한 인식 작업을 수행합니다. 모델은 자연 환경 이미지에서 학습한 일반적인 시각적 특징과 패턴 인식 능력을 바탕으로, 레이블이 없는 도시 환경 이미지를 분류하거나 인식하는 데 활용됩니다.
사례의 중요 포인트
도메인 간 일반화: 'Jigsaw Puzzles' 작업을 통해 학습된 모델은 다양한 환경(자연과 도시)에서 나타나는 시각적 패턴을 이해할 수 있게 되며, 이를 통해 소스 도메인과 상이한 타겟 도메인에서도 유의미한 성능을 보일 수 있습니다.
비지도 학습의 활용: 이 접근법은 타겟 도메인의 레이블이 없는 상황에서도 도메인 적응을 가능하게 하며, 실제 세계의 다양한 응용 분야에서 유용하게 활용될 수 있습니다.
이 예시는 'Jigsaw Puzzles'를 통한 자가지도 학습 방식이 어떻게 비지도 도메인 적응 문제에 적용될 수 있는지를 보여줍니다. 모델이 소스 도메인의 데이터로부터 도메인에 독립적인 일반적인 특징을 학습함으로써, 레이블이 없는 새로운 도메인의 데이터에 대해서도 효과적으로 작동할 수 있음을 의미합니다.
