-
대회가 끝났지만 DINO에 미련남아서 학습한 후기개발자노트/네이버 부스트캠프 AI 2024. 1. 23. 11:43
대회 마감 이틀전 DINO를 만났지만
backbone을 swinL로 하니 batch size를 1로 해야 겨우 CUDA out of memory 없이 돌았다.
어제 밤에 돌리고 약 14시간 정도만에 학습이 완료되었는데
제출하려고 하니 제출버튼이 비활성화 되었다.
하지만 제출을 못하더라도 눈으로라도 확인한 결과가 굉장했다!
DINO가 배터리를 굉장히 잘 잡는다. 아래 그래프에서도 확인 가능하다.
실험 그래프
다른 모델들과 다르게 학습하면서 점점 우상향 하는 그래프는 아니고 심지어 하향하는 것처럼 보이기도 한다.
그러나 왼쪽의 y축 값을 보면 mAP 50의 값이 0.75~0.77사이로 큰 폭으로 감소하지는 않는다.
다른 클래스들의 결과도 상당하다.
다른 모델들과 비교하면 차이가 확실히 보인다.
small은 DINO역시 어려운 것 같다.
하지만 다른 모델들보다는 성능이 좋았다.
의류는 거의 0.8정도가 나온다.
괴물이다....
플라스틱도 다른 모델과 비교해서 월등하다.
일반쓰레기, 캔류, 스티로폼 다 넘사벽인 DINO.
특히 배터리는 거의 0.9x대를 보여주고 있다.
아마 epoch을 다 돌려서 제출했다면
단일모델로도 0.7이 넘었겠지..?
오늘의 교훈
좋은 모델은 GPU메모리도 많이 차지하고 학습 시간도 오래걸린다.
그러니 모델 비교를 빨리해서 학습 시간을 빠르게 확보하자.
'개발자노트 > 네이버 부스트캠프 AI' 카테고리의 다른 글
[부스트캠프 AI tech] 13주차 주간회고 (01/29~02/02) (0) 2024.02.02 [부스트캠프 AI tech] 12주차 주간회고 (01/22~01/26) (1) 2024.01.26 [네부캠 AI tech] 11주차 주간회고 (01/15~01/19) (0) 2024.01.19 나의 삶의 지도 '개발자 진화 과정' (0) 2024.01.16 모델 앙상블 기법 - NMS, WBF (0) 2024.01.16