ML Lec 5: Logistic Classification

Logistic Classification

- classcification중 에서 정확도가 높다.

굉장히 중요한 알고리즘이다.

Regression(HCG) : 복습

Hypothesis(가설)

Cost(가설과 실제의 차이)

Gradinent decent(경사하강법)

 

Binary Classification

둘(0,1)중 하나로 결정한다

 

- Spam Detection : Spam or Ham

 : 스팸 이메일 탐지

 : spam 1 or ham 0

 

- Facebook feed : show or hide

 : facebook에서 좋아요한 데이터를 기준으로 수많은 타임라인을 선택적으로 보여준다.

 : show 1 or hide 0

 

- Credit Card Fraudulent Transaction detections

 : 신용카드 사기 거래 탐지

 : fraud 1 legitimate0

 

- 이미지를 비교

 

- 주식 데이터 학습

 

- pass/ fail based on study hours

 : 학생이 공부한 시간에 대해 pass/fail

 : 2시간 떨어지고 3시간, 4시간… 6시간 합격

 : Linear Regression으로 사용할 수 있을 것 같은데?

0.5

차이가 큰 값에 따라 특정 데이터는 아래 처럼 결과 가 바뀔 수 있다.

H(x) = Wx로 다양한 값이 나올 필요가 없어서

g(z) = 0 또는 1로 결과가 나오게 만들었다.

Logistic Hypothesis

 

 

logistic function

sigmoid function

1에 가까워지고 0에 가까워진다.

z =Wx

H(x) = g(x)

H(X) = 1 / (1+e-WtX))

Cost 함수

gradient가 시작점과 끝점이 달라질 수 있다.

sigmoid는 함수 그래프 모양이 울퉁불퉁해서 모델이 local minimum에 빠질 수 있다.

New cost function for logistic

예측이 같다면 cost작아지고, 다르면 cost가 커진다

=====================

y=1

H(x) =1로 맞으면 --> cost(1) =0,,

H(x) =0으로 틀림 --> cost(x) = 무한

-------------------

y=0

H(X) = 0 맞았다 --> cost =0

H(x) = 1 틀렸다 --> cost =무한

=====================

두개를 합치면

C(H(x),y) = ylog(H(x))-(1-y)log(1-H(x))

 

 

하던거랑 똑같은데 한줄로 만들어서 프로그래밍 하기 쉽게 만들었다.

 

 

Gradient decent algorightm

C(H(x),y) = ylog(H(x))-(1-y)log(1-H(x))

알파 : stepsize, learingrate