Metric Learning

• 실제로 어떠한 거리 함수를 이용하는가에 따라 예측 모델의 성능이 2배 이상 차이나는 경우도 있다. 
• 그러나 미리 정의된 거리 함수 중에서 모든 데이터에 대해 적합한 거리 함수는 현실적으로 존재하지 않는다.
• 이러한 이유로 데이터에 적합한 거리 함수를 머신 러닝 알고리즘으로 직접 만드는 metric learning이 활발히 연구되고 있다.

• 데이터에 적합한 거리 함수라는 표현을 머신 러닝의 관점에서 다시 말하면, 데이터의 각 목표값에 대해 데이터를 구분하기 쉽게 만들어주는 거리 함수를 의미한다
• 그림 1은 이러한 관점에서 metric learning의 목적을 시각적으로 보여준다. 기존의 feature로는 분류가 쉽지 않았던 데이터에 대해 데이터를 class label 별로 잘 구분할 수 있게 만드는 metric을 학습함으로써 분류 모델을 만드는 문제가 매우 단순해졌다.

• Metric learning을 통해 학습된 새로운 거리 함수는 일반적으로 embedding 함수 $f: \mathbb{R}^r \rightarrow \mathbb{R}^m$ 를 통해 변환된 새로운 데이터 표현에 대한 Euclidean 거리로 정의된다. 예를 들어, metric learning을 통해 학습된 거리 함수를 $f(\textbf{x};\theta)$라고 할 때, 두 데이터 x1과 x2에 대한 새로운 거리 함수는 아래와 같다.

우항은 $ f ( x1​ )$와  $f ( x2​ )$ 벡터 차이를 계산하고 그 차이의 L2 normalization(유클리드 거리) 한 것이다.

• 따라서, metric learning 문제의 목적은 데이터를 각 목표값에 따라 잘 구분되도록 변환하는 embedding 함수 $f$를 학습하는 것이 된다. 

 

 

 

 

 

---

 

출처 https://untitledtblog.tistory.com/164