[Mnemonics Training]CVPR'2020

목적 : 이것도 AAnet Introduction 에서 existing CIL  methods로 소개했다. 빨리 읽고 12시이후부터는 코딩해봐야한다. 

Mnemonics Training: Multi-Class Incremental Learning without Forgetting

Abstract

• Multi-Class Incremental Learning(MCIL) 목표 :이전 개념에 대해 trained model을 incrementally 갱신하여 새로운 개념을 학습시키는 것
• inherent trade-off : Catastrophic forgetting vs learning new concepts
• representativeness of these examples에 크게 좌우된다. 본 논문에서는 mnemonics라는 novel and automactic framework를 제시하는데 examplars를 parametize하고 그것을 end-to-end 방식으로 최적화 할 수 있도록 한다. 
• bi-level optimization을 통해 프레임워크를 훈련하고 세가지 실험(CIFAR100,ImageNet-Subset, ImageNet)에서 실험하니 mnemonics exemplars를 쓰는 것이 최첨단 기법보다 큰 폭으로 성능을 향상시켰다. 
• 신기하게도 mnemonics exemplars는 boundaries beween classes 근처에 자주 위치한다. (신기하네)
•  

그림1. two phases에 대해 3개의 exemplar methods t-SNE 결과다. 5가지 clsss로 색칠된 original data는 초기 phase에 발생한다. 각 색상의 클래스는 deep-color points가 exemplars이며, light-color은 original data는 real data distribution의 reference로 보여준다. 가로지르는 Gray는 다른 participating classes를 나타내며, 각 cross는 하나의 class를 나타낸다. 우리는 크게 두가지 관측치를 가졌다, (1)Our approach는 radnom이나 herding와 비교해서도 보다 data에서 훨씬 더 명확한 부리를 해냈다.(2) learned exemplars 는 대부분 class 간의 boundaries에 위치한다.

• Random : exemplars들이 early phase에 무작위적으로 샘플링 됨. 
• Herding : exemplars들이 early phase에 mean sample의 최근접 이웃들임.