[TIL] CS231n 3강 - Loss function, Optimization

 

Loss function

최적의 weight를 구하여 에러율을 줄이는 것이 머신러닝의 목표

 

최적화 : 에러율이 최소인 w를 구하는 과정

 

 

 

SVM

Support Vector Machine

분류에 사용하는 모델

 

쉬운 설명 사이트👇

서포트 벡터 머신, 가보자고! ✊🏻 : "디지털"한 일잘러 되는 비법 (ablearn.kr)

 

경계선 상에 있는 데이터들을 이으면 support vector가 된다.

각 support vector간의 거리를 margin이라고 한다.

support vector 사이의 직선을 decision boundary 라고 한다.

 

 

목표 : margin을 최대로 만드는 것.

 

 

 

 

 

Hinge Loss

SMV에서 loss를 구하는 방법

 

S_j 는 잘못된 score

S_y_i는 correctly score

1은 safety margin

 

j != y_i 인 이유는 이것을 포함하면 전체에 +1이 되기 때문.

 

 

 

 

Softmax classifier

모든 score에 exp를 취하고 모두 더한 후 클래스 정수를 exp취해서 나눈다 (-> 확률값으로 바꾸어준다)

왼쪽이 score인데 오른쪽 확률값으로 바꿈

 

loss의 최대값 : 무한대

최소값 : 0

 

(이해가 잘 안되서 나중에 다시 공부해야할듯)

 

 

 

Optimization

loss를 minuma하는 과정

 

랜덤하게 ? 절대 안됨

 

Gradient descent : 경사 하강법

산에서 눈을 가리고 내려간다고 생각해보자.

 

 

mini_batch

training set중에 일부만을 활용

learning rate를 어떻게 설정할 것인가.

너무 높으면 발산하거나 local minimun에 빠질수있음.

딥러닝은 feature extraction을 먼저 하지 않고, 이미지 자체를 함수에 넣어서 결과를 얻는다.

 

 

 

• 참고

https://velog.io/@cha-suyeon/혼공머

[혼공머] 손실 함수(loss function), 조기 종료(early stopping), hinge loss

[cs231n] 3강 Loss Function.. : 네이버블로그 (naver.com)

머신러닝(Machine Learning) : 경사하강법(Gradient Descent) (robotstory.co.kr)

[Machine Learning] 경사 하강법(Gradient Descent) :: 지금은 독일 (minicokr.com)

 

 

 

 

 

 

 

 

cf. SVM과 loss function의 SVM

 

 

 

 

 

 

 

 

 

 

귀여운 토비로 마무리