꼭꼭 씹어먹고 싶은 만성소화불량

(출처를 그대로 인용하지 않은 나의 생각이라 이탤릭 녹색으로 적음) 가장 뚜렷한 차이는 DA가 Source Domain 과 Target Domain 을 갖고 있는데 반해, DG는 Target domain 이 정의 되지 않은 것 같다. DG(도메인 일반화)는 말 그대로 모델을 다양한 영역에서 동작하도록 일반화 시키는 것이고 Target은 U(전체 집합)이나 다름 없다. DG는 Target Data를 가지지 않은 것 같다. Unsupervised DA에서는 unlabelled data를 Target data로 활용한다. 출처 : https://blog.naver.com/khm159/222429395415 https://stats.stackexchange.com/questions/551671/domain-ge..

FDA 혹은, Linear Discriminant Analysis(LDA)라고 불린다. Fisher에 의해 제안되었다. 데이터들을 하나의 직선(1차원 공간)에 projection시킨 후 그 projection된 data들이 잘 구분이 되는가를 판단하는 방법이다. 데이터가 잘 구분되어있다는 의미는 위 그림 중, 왼쪽 보단 오른쪽 처럼 구분돼야 한다고 했다. 이 특성을 보자면, 데이터들이 모여있고, 중심부가 서로 멀수록 데이터의 구분이 잘 된 것이라고 한다. 즉, projection 후의 두 데이터 중심(평균)이 서로 멀수록(거리), 그 분산이 작을수록(응집) 구분이 잘 되었다고 얘기할 수 있다. 이렇게 잘 분류되게끔 하는 하나의 vector w를 구하는 것이 LDA이다. w에 projection 된 x들의..

실제로 어떠한 거리 함수를 이용하는가에 따라 예측 모델의 성능이 2배 이상 차이나는 경우도 있다. 그러나 미리 정의된 거리 함수 중에서 모든 데이터에 대해 적합한 거리 함수는 현실적으로 존재하지 않는다. 이러한 이유로 데이터에 적합한 거리 함수를 머신 러닝 알고리즘으로 직접 만드는 metric learning이 활발히 연구되고 있다. 데이터에 적합한 거리 함수라는 표현을 머신 러닝의 관점에서 다시 말하면, 데이터의 각 목표값에 대해 데이터를 구분하기 쉽게 만들어주는 거리 함수를 의미한다 그림 1은 이러한 관점에서 metric learning의 목적을 시각적으로 보여준다. 기존의 feature로는 분류가 쉽지 않았던 데이터에 대해 데이터를 class label 별로 잘 구분할 수 있게 만드는 metric을..

Fine-grained class란 세세하게 구분한 라벨을 의미한다. -기존 클래스가 cat, dog라면 이것은 셰퍼드, 요크셔 테리어 등으로 구분한 것이라 볼 수 있다. -이와 반대되는 것으로는 Coarse-grained 가 있다. 포유류,양서류 등으로 구분하는등 뭉툭한 라벨을 의미한다. 출처 : https://velog.io/@khhiq1000/%EB%94%A5%EB%9F%AC%EB%8B%9D-%EB%8B%A8%EC%96%B4-%EC%82%AC%EC%A0%84#:~:text=Fine%2Dgrained%EB%9E%80%20%EC%A2%80%20%EB%8D%94,grained%20classification%EC%9D%B4%EB%9D%BC%20%EC%A7%80%EC%B9%AD%ED%95%9C%EB%8B%A4.

Hard Label은 흔히 말하는 데이터 라벨링 형태로 각 클래스로 명확히 분류되는 라벨이다. Soft Label은 확률을 사용하여 분류되기 때문에 하나의 데이터가 여러 클래스에 해당 될 수 있다. 출처 : 준지도 학습 https://blog.naver.com/luvwithcat/222197862962

likelihood는 다음과 같이 정의된다. 모델 예측값이 실제 정답을 따라가려면 likelihood의 최대값을 구하는 방식이다. 개인적으로 여기서 파라미터는 거의 모델이라고 봐도 무방할 것 같다. 해당 모델이 i번째 대상을 제대로 맞추느냐 맞추지 않느냐의 확률을 계속 곱하기 때문에 모델이 틀리면 Likelihoood도 작을 것이다. 그런데 곱셈은 어려우니 log를 취해서 더하게 만든다. 그럼 0~1사이의 소수였던 값들이 지수화 되어 음수가 된다. 참고한 블로그에서는 모델-실제의 minimum의 경사하강법을 적용하기 쉽도록 -를 적용하였다고 한다. 그래서 likelihood를 Log화 하고, 이를 음수로 만든 형태인 negative log-likelihoood 형태로 주로 쓴다. 출처 : log-like..

2024.03.21 - [AI] - Deep Visual Domain Adaptation: A Survey 읽기 오늘은 one-step과 multi-step을 볼테니 논문에 참조된 테이블을 먼저 보자. One-step DA 접근 요약 Subsettings (하위집합) Discrepancy(불일치)기반 label/unlabel 타겟 데이터를 통해 deep network를 파인튜닝한다. 그리하여 domain shift를 줄인다. class (분류) 기준 statistic(통계) 기준 architecture (구조)기준 geometric (기하)기준 Adversarial(적대) 기반 adversarial 목적을 가지고 domain discriminator(판별기)를 통해 domain confusion을 촉진한..

도메인 혼동(Domain Confusion)은 도메인 적응 과정에서 사용되는 기법 중 하나로, 모델이 소스 도메인과 타겟 도메인 간의 차이를 구별하지 못하도록 학습하는 것을 말합니다. 이를 통해 모델이 두 도메인의 데이터를 동일하게 처리하도록 만들어, 도메인 간의 차이에 덜 민감하게 합니다. 도메인 혼동의 목적: 소스 도메인과 타겟 도메인의 특징 공간을 유사하게 만듦: 학습 과정에서 소스 도메인과 타겟 도메인의 데이터가 유사한 특징 공간에서 나타나도록 강제함으로써, 도메인 간의 차이를 최소화합니다. 도메인 불변 특징 학습: 모델이 두 도메인에서 공통적으로 존재하는 불변의 특징을 학습하도록 유도하여, 도메인 간 전이성을 강화합니다. 도메인 혼동을 달성하는 방법: 도메인 적대적 학습: 신경망 내에 도메인 분..

"Transfer learning"과 "Knowledge distillation"은 모두 기계 학습에서 지식을 전달하는 방법이지만, 다른 접근 방식과 목적을 가지고 있습니다. 지식 전달 (Transfer Learning) 의미: "지식 전달"은 한 도메인에서 학습된 지식을 다른 도메인이나 다른 작업에 적용하는 과정을 말합니다. 예를 들어, 한 이미지 분류 작업에서 학습된 모델을 다른 분류 작업에 적용하는 것이 여기에 해당합니다. 목적: 이 방법은 모델이 다른 도메인이나 작업에서 좋은 성능을 낼 수 있도록 하는 데 초점을 맞춥니다. 차이: 다양한 도메인 간에 전반적인 지식을 전달하고, 레이블이 많이 필요하지 않은 새로운 작업에 모델을 빠르게 적응시키는 것이 목적입니다. 지식 증류 (Knowledge Dis..

더보기 Fine Tuning (세부 조정) 개념과 목적: 사전에 학습된 모델을 새로운 작업이나 도메인에 적용하기 위해 추가 학습을 수행하는 방법입니다. 목적은 특정 작업에 대한 모델의 성능을 최적화하는 것입니다. 등장 시기: 2010년대 초반, 딥러닝이 급속히 발전하면서 널리 사용되기 시작했습니다. 장단점: 장점: 사전 학습된 모델을 재사용하여 학습 시간을 단축하고, 적은 양의 데이터로도 높은 성능을 달성할 수 있습니다. 단점: 새로운 작업이나 도메인과 원래 모델이 학습된 도메인 간의 차이가 클 경우 성능이 제한될 수 있습니다. 학습 난이도: 상대적으로 낮음. 사전 학습된 모델에 의존하므로, 적절한 사전 학습 모델을 선택하고, 세부 조정 과정을 이해하는 것이 중요합니다. 환경: 딥러닝 프레임워크(Tens..