[LG Aimers 교육] Module.2 지도학습 -Part4.Linear Classification

Supervised learning

  -Regression (연속적인 값)

  -Classification(이산적인 값) : 입력+정답으로 구성

 

Linear classification(선형분류)

선을 이용하여 데이터를 분류

hyper plane에서 dataset에 있는 positive / negative sample을 linear combination(선형결합)에 의해서 구분

frame work

주어진 입력에 대한 출력을 분류

[2,0] input →h classifier → -1 label

1. 어떤 predictor 이용할지?

2. 모델 parameter를 feating하기위한 loss function 설정 (linear regression은 MSE사용)

- zero one loss

- hinge loss

- cross entropy loss

3. 어떻게 parameter를 최적화할지?

Gradient descent algorithm

model

---

loss function(손실함수) : 신경망 성능의 나쁨을 나타내는 지표

Zero one loss : gradient가 0이 되어버리면 학습진행 불가

Hinge loss :

Cross entropy loss : classification model 학습하는 데 가장 많이 사용

실수로 된 score를 sigmoid함수를 통해 mapping하여 fittting하고자하는 label(0/1)로 표시.

즉각 score값을 나타내는 데 사용될 수 없음(sigmoid함수를 통해야함)

Multiclass classification

binary classification을 One vs All을 통해 multiclass 로 확장.