negative log likelihood를 쓰는 이유

 likelihood는 다음과 같이 정의된다. 

괴발개발

 

모델 예측값이 실제 정답을 따라가려면 likelihood의 최대값을 구하는 방식이다. 개인적으로 여기서 파라미터는 거의 모델이라고 봐도 무방할 것 같다. 해당 모델이 i번째 대상을 제대로 맞추느냐 맞추지 않느냐의 확률을 계속 곱하기 때문에 모델이 틀리면 Likelihoood도 작을 것이다. 그런데 곱셈은 어려우니 log를 취해서 더하게 만든다. 그럼 0~1사이의 소수였던 값들이 지수화 되어 음수가 된다.

 

• 참고한 블로그에서는 모델-실제의 minimum의 경사하강법을 적용하기 쉽도록 -를 적용하였다고 한다. 
• 그래서 likelihood를 Log화 하고, 이를 음수로 만든 형태인 negative log-likelihoood 형태로 주로 쓴다. 

 

 

출처 : 

• log-likelihood https://supermemi.tistory.com/entry/Loss-Cross-Entropy-Negative-Log-Likelihood-%EB%82%B4%EC%9A%A9-%EC%A0%95%EB%A6%AC-Pytorch-Code
•