RandAugment: Practical automated data augmentationwith a reduced search space(NeIPS'2020)

https://arxiv.org/pdf/1909.13719

 

Abstract

• 요즘 augmentation 자동화 전략 좋지만 별도의 search phase로 인해 학습복잡성과 연산 비용이 크게 증가할 수 있다. 
• 이 search phase때문에 모델과 데이터셋 크기에 따른 regularization 강도도 조절할 수 없다. 
• auto-augmentation의 경우 주로 적은데이터로 작은모델을 학습하거나 그 데이터를 더 큰 모델에 적용했다. 
• 제안하는 방식은 search space를 현저하게 줄여 separate proxy task없이 target task학습을 가능하게 했다. 
• parameterization 덕분에 정규화 강도를 데이터셋에 맞게 조절할 수 있다. 
• randaugment는 다양한 모델과 데이터셋에 맞게 조정가능하며 모든 이전의 automated augemntations 보다 일치하거나 능가하는 성능을 보여줬다. 
• 코드 : github.com/tensorflow/tpu/tree/master/models/official/efficientnet

RandAugment는 현저하게 감소된 검색 공간을 통해  다른 증강 방법들보다 크거나 같은 예측 성능을 냈다.  각 테이블의 값은 search space와 test accurarcy다.  search space 크기는 가능한 증강 policies 수의 크기 순서로 보고된다. 모든 정확도는 cross-validated validation 또는 test 분할에 대한 백분율이다. 대시는 결과를 사용할 수 없음을 나타낸다.

 

AA	AutoAugment	RA	Random Augmentation
PBA	Population Based Augmentation