Batch 란 무엇인가 + Batch Normalization

주워들은 것들은 좀 구어적으로 적고 Baseline은 기반을 닦아서 남이 봐도 무난할 정도로 정리해갈 예정이다. 일단 내가 알고 있는 Batch 를 싺싺 긁어서 풀어보자. - 학습 네트워크의 하이퍼 파라미터 중 가장 만만한 아이이다. 학습이 시작되면 (대개 나는 vision 이니까) 이미지를 불러오고, 그럼 그 학습 이미지들이 1000장이라고 가정했을 때, 1번씩을 학습한 것을 1 epoch 이라는 단위로 부른다. 이것을 한 명의 사람이 1000페이지의 책을 읽는 과정이라고 치면, 순차적이라는 이유로도 여러가지 애로사항이 핀다. - 이전의 내용을 잊을 수 있고, - 반대로 마지막 페이지만 너무 강렬하게 학습했을 수도 있고, - 느리다. 그래서 batch라는 나눔 기준을 만들어서 batch size 만큼 ..
AI/주워들은 것들 2021. 5. 17. 23:30
1