Deformable Part Model(DPM) ;

2021/02/22 - [AI/Baseline] - Selective Search, one of the Region Proposal

Selective Search, one of the Region Proposal

지난 글에서 sliding window라는 객체 검출 방식의 효율 때문에 Region proposal 이 제안되었고, 그 방법 중 하나인 Selectvie search에 대해 이야기 했다. 

 

오늘은 Selective search 이전에 sliding window 이슈를 해결하기 위해 나왔던, 직역하자면 가변(deforamable)적인 부분(Part) 모델들(Models) 인 Deformable Part Model(DPM)에 대해서 간략하게 다뤄본다. 

---

 

object detection with Discriminatively Trained Part Based Models 서문 일부

Deformable model이란 모델이 객체에서 중요한 부분은 잘 검출 할 수 있으나, 하나의 일부분으로는 다양한 종류를 분류하기엔 부족했다는 부분이다.  그래서 논문에서는 '시각적 문법' (visual grammars)을 활용하고자 했다. 

'문법' 기반 모델들은 다양한 계층적 구조를 사용함으로써  DPM(Deformable Part Model)을 일반화 했다. 

 

이러한 모델들은 다른 객체 클래스 간의 연산과 정보를 공유하는 프레임워크를 제공한다.  예를 들어, 다른 모델들이 재활용 가능한 파트를 공유할 수 도 있는 것이다.  

(사람으로 치면 사람의 얼굴 부분의 정보를 을 다른 사람의 얼굴을 확인할 때 쓸 수 있다.) 

그림 1. 단일 구성 요소로 얻은 사람 검출 모델; rough한 필터인 (a)로 검출했다. (+(b) +(c)도 이용함)

(b)에서는 (a) 보다 부분적으로 높은 해상도를 보인다. 

(c) : root를 기준으로 각 부분에서 공간적인 모델도 이용했다. 

 

(일부 영역에서 이미지대신 그  영역을 대표하는 히스토그램을 뽑는다고 생각하면 된다.)

객체의 일부를 histogram화 하는 모습

이러한 방법으로, 만약에 어떤 객체에게 사람의 얼굴과 사람의 팔, 사람의 다리가 검출된다면 해당 객체를 사람으로 분류 하게 될 것이다. 

 

 

[요약 그림]

여러 모델의 분류 결과를 합쳐서 연산한다. 저해상도 고해상도(x2) 모델도 있음. 최종적으로 분류에 쓰는 것은  SVM이다. 

결론 : sliding window를 픽셀단위로 하는 대신, DPM 지역적이고 부분적인 객체 검출을 한뒤 커다란 영역의 판별을 진행했었다.  그런데 이것도 연산이 많이 들 것 이다. 하나의 영역만 해도 필터를 여러 개 추출한다. 그래서인지 요즘은 쓰지 않는다. 

 

그럼에도 불구하고 이것을 조사하기로 마음 먹은 이유는 DetectoRS 관련 관련 개념중 Deformable Convolutional networks가 있었기 때문이다. 그 이전에 deformable이 똑같아서 살펴보게 되었다. 

 

그럼 다음에는 1-stage detector에 속하는 SSD와 detectoRS 초록 및 소개글 일부를 분석(이라는 번역)해볼 예정이다. 

rcnn 부터 연도 순으로 진행할 예정

 

출처 :

* Object Detection with Discriminatively Trained Part Based Models

cs.brown.edu/people/pfelzens/papers/lsvm-pami.pdf

0.[IEEE] A Discriminatively Trained, Multiscale, Deformable Part Model rogerioferis.com/VisualRecognitionAndSearch2014/material/papers/DPMCVPR98.pdf

1. Tutorials of Object Detection using Deep Learning [1] What is object detection?

hoya012.github.io/blog/Tutorials-of-Object-Detection-Using-Deep-Learning-what-is-object-detection/

2. DPM(Deformable Part Model) 89douner.tistory.com/82

3. dpm-slides-ross-girshick vision.stanford.edu/teaching/cs231b_spring1213/slides/dpm-slides-ross-girshick.pdf