Inductive bias란?

• 첫번째 블로그가 워낙 잘 정리되어있어서 거의 내가 이해한 부분만 복붙한 수준이 되었다. 
• 들어본 개념이라고 생각했는데 지금 보니 한귀로 듣고 나간정도가 아니라 그냥 귀에 스칠뻔한 무언가였고 내가 가늠했던 개념하고도 확연히 달랐다. 
• Error 는 bias와 variance로 구성되는데 이 두 개념은 현실적으로 trade-off로써 적용되는데 현상은 아래와 같다. 

그림출처 : 1.블로그

• inductive bias란 학습하지 않았던 상황도 예측하기 위한 추가적인 가정을 위한 bias 로 보임.  
• Training data를 넘어 "Generalization"할 수 있는 능력을 가진 학습 알고리즘에는 어떤 Inductive Bias가 존재하는데, 이는 학습과정에서 습득된 편향(bias)라고 말할 수 있다. 

Inductive bias의 예시

• Translation invariance : 사물의 위치를 상관하지 않음
• Translation Equivariance : 사물의 위치에 따라 CNN style 연산의 activation 위치도 적용
• Maximum conditional independence(조건부 독립성을 최대화 하는 것이 목표) : 모델의 각 특징간 독립성을 유지하려는 가정. 모델이 특정 관계에만 의존하지 않고 더 일반화 되도록 유도함. 
• Minimum cross-validation error : 가설 중 교차 검증 오차가 가장 낮은 가설을 선택
• Maximum margin : 두 클래스 사이의 경계를 그릴 때 그 너비를 최대화 
• Minimum description length : 단순하면서도 데이터에 잘 맞는 모델을 선호한다. (여기서 말하는 길이란 정보를 압축하기 위해 필요한 비트 수) 
• Minimum features : 유용한 특징만 쓴다.
• Nearest neighbors : 특징 공간의 작은 이웃들은 대부분 동일한 클래스에 속한다고 가정(하여 적은 가정치를 주는게 아닌가 이해함)

출처 : 

• https://velog.io/@euisuk-chung/Inductive-Bias%EB%9E%80
• https://moon-walker.medium.com/transformer%EB%8A%94-inductive-bias%EC%9D%B4-%EB%B6%80%EC%A1%B1%ED%95%98%EB%8B%A4%EB%9D%BC%EB%8A%94-%EC%9D%98%EB%AF%B8%EB%8A%94-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C-4f6005d32558

 

소감: 

• Transformer에서는 CNN의 inductive bias가 부족한 점을 data로 메꿔서 (나의 언어대로 하자면) 상상력이 빈곤한 점을 데이터로 robust 하게 가져가는 것 같음
• 내가 원하는, 데이터가 무조건적으로 이득이 아닌 학습알고리즘을 개발하고자 하는 희망으로 보자면 이 inductive bias에 좀 더 특화된 알고리즘을 살펴보는 것이 좋겠다.