Autoaugment: Learning augmentation policies fromdata(CVPR 2018)

ProCA 부록 [7] 논문으로 augmentation 알려고 본다.

 

Cubuk, E.D., Zoph, B., et al.: Autoaugment: Learning augmentation policies fromdata(CVPR 2018)

Abstract

• 개선된 데이터 증강 정책을 자동으로 검색하기 위한 AutoAugment이라는 simple procedure 제안
• policy consists of many subpolices로  구성되는 search space을 설계했으며, 그 중 하나가 각 mini-batch의 각 이미지에 대해 randomly chosen된다. 
• sub-poicy는 두가지 연산으로 구성
  • Image processing : translation, rotatiion, shearing 등의 기능과 해당 기능이 적용될 확률 값이다.
• 목표 :  find the best policy such that the NN yields the highest val_acc on a target dataset. 
• 몇몇 데이터셋에 대해 0.4%,0.6% 정도를 개선시켰다.

---

Related Work

best aumentation 전략들

1. Minist에는
   • elastic distortion
   • scaling
   • translation
   • roation
2. Cifar-10/ImageNet
   • random croping
   • image mirroring
   • color shifting
   • whitening 

• 이 논문에서는 데이터에서 데이터 증강 정책을 찾는 자동화된 접근 방식을 소개한다. 우리의 접근 방식은 강화 학습과 진화를 사용하여 데이터에서 모델 아키텍처를 발견하는 아키텍처 검색의 최근 발전에서 영감을 받았다[71, 4, 72, 7, 35, 13, 34, 46, 49, 63, 48, 9]. 이러한 방법은 인간이 설계한 아키텍처에서 개선되었지만 아키텍처 검색만으로는 CIFAR-10의 2% 오류율 장벽을 극복할 수 없었다.
• 여러 시도들
  • Smart Augmentation : 동일한 클래스의 두 개 이상의 샘플을 병합하여 자동으로 증강 데이터를 생성하는 네트워크
  • Bayesian approach: Tran et al 이 distribution learned from the training set를 기반의 데이터를 생성하자 함
  • DeVries와 Taylor : simple transformations in the learned feature space to aument data. 
  • GAN 
• 데이터를 직접생성하는 GAN과 달리 우리는 symbolic(상징적인) transformation 연산을 한다. 

AutoAugment : Searching for best Augmentation polices Directly on the Dataset of Interest 

• 최적의 증강 policy를 찾기 위해 이산 검색 문제로 problem formulate 했다.

더 나은 data 증강 정책을 찾기 위해 search method(e.g.강화학습)를 이용한 본 논문 framework 구조. conroller RNN이 검색 공간으로부터 augmentation policy를 예측한다. A child network with a fixed architecture 은 학습하며 accracy R에 수렴한다. 보상 R은 poicy gradient method에서 controller을 갱신하는데 쓴다. 이렇게 시간이 지날 수록 더 나은 poicies를 생성

 

 

---

쓰던거 전부 날아갔다. 그림과 표만 넣어둠