개발자노트/네이버 부스트캠프 AI

대회가 끝났지만 DINO에 미련남아서 학습한 후기

_heyna 2024. 1. 23. 11:43

 

 

대회 마감 이틀전 DINO를 만났지만 

backbone을 swinL로 하니 batch size를 1로 해야 겨우 CUDA out of memory 없이 돌았다.

 

어제 밤에 돌리고 약 14시간 정도만에 학습이 완료되었는데

제출하려고 하니 제출버튼이 비활성화 되었다.

 

 

 

 

 

 

 

 

 

 

 

 

하지만 제출을 못하더라도 눈으로라도 확인한 결과가 굉장했다!

 

 

DINO 추론 결과

 

 

다른 모델들의 앙상블 추론 결과

 

 

DINO가 배터리를 굉장히 잘 잡는다. 아래 그래프에서도 확인 가능하다.

 

 

 

 

 

 

실험 그래프

 

다른 모델들과 다르게 학습하면서 점점 우상향 하는 그래프는 아니고 심지어 하향하는 것처럼 보이기도 한다.

그러나 왼쪽의 y축 값을 보면 mAP 50의 값이 0.75~0.77사이로 큰 폭으로 감소하지는 않는다.

 

 

 

 

 

 

 

 

 

 

 

 

 

다른 클래스들의 결과도 상당하다.

다른 모델들과 비교하면 차이가 확실히 보인다.

 

 

small은 DINO역시 어려운 것 같다.

하지만 다른 모델들보다는 성능이 좋았다.

 

 

 

의류는 거의 0.8정도가 나온다.

괴물이다....

 

 

 

 

플라스틱도 다른 모델과 비교해서 월등하다.

 

 

 

 

 

 

일반쓰레기, 캔류, 스티로폼 다 넘사벽인 DINO.

특히 배터리는 거의 0.9x대를 보여주고 있다.

 

 

아마 epoch을 다 돌려서 제출했다면

단일모델로도 0.7이 넘었겠지..?

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

오늘의 교훈
좋은 모델은 GPU메모리도 많이 차지하고 학습 시간도 오래걸린다.
그러니 모델 비교를 빨리해서 학습 시간을 빠르게 확보하자.