티스토리 뷰

AI/주워들은 것들

KL divergence란?

아인샴 2025. 2. 24. 13:36

https://hyunw.kim/blog/2017/10/27/KL_divergence.html

초보를 위한 정보이론 안내서 - KL divergence 쉽게 보기

사실 KL divergence는 전혀 낯선 개념이 아니라 우리가 알고 있는 내용에 이미 들어있는 개념입니다. 두 확률분포 간의 차이를 나타내는 개념인 KL divergence가 어디서 나온 것인지 먼저 파악하고, 이

hyunw.kim

이 블로그가 설명을 무지 잘한 것 같은데 뭔가 따라가기가 어렵다. 차근차근 따라가보자. 

https://yonghyuc.wordpress.com/2019/09/26/elbo-evidence-of-lower-bound/comment-page-1/#respond
 
여기도 좋았다. 

https://ratsgo.github.io/generative%20model/2017/12/19/vi/

변분추론(Variational Inference) · ratsgo's blog

이번 글에서는 Variational Inference(변분추론, 이하 VI)에 대해 살펴보도록 하겠습니다. 이 글은 전인수 서울대 박사과정이 2017년 12월에 진행한 패스트캠퍼스 강의와 위키피디아 등을 정리했음을 먼

ratsgo.github.io

참조 링크로 갔더니 켤레 분포( conjugate distributions)에서 부터 쉽지 않다..

EM이 나오는 걸 보니 GMM 과 연관이 있을텐데 좀 더 자세히 보자. 

via GIPHY

VAE학습과정 같은데  넘신기해

via GIPHY
그래서 VAE란~

https://process-mining.tistory.com/161

'AI > 주워들은 것들' 카테고리의 다른 글

CTF Loader란?  (0) 2025.02.09
Inductive bias란?  (0) 2025.01.01
[책]비전공자도 이해할 수 있는 AI 지식  (2) 2024.12.08
LLM의 RAG란 무엇인고  (0) 2024.11.16
torch)메모리 부족 이슈로 Data loader가 뻑사리 날 때 insufficient shared memory  (1) 2024.10.23