ML lec06 - Softmax Regression(Multinominal Logistic Regression)

이전 lecture : Logistic regression

 

기본적으로 HL(x) = Wx이다.

이에 대한 값은 100, 200, 10 등 다양해서 0, 1 중 고르기엔 적합하지 않다.

그래서 z = HL(x)를 만들어서 , g(z) = 0 ~ 1 로 값이 나오길 원했다.

그 결과 g(z) = 11+e-z  ( sigmoid logstic) 를 만들어냈다.

결론적으로 H­R(x) = g(HL(x)) 식을 만들었다.

---

Multinominal Classification

0, 1이 아닌 A, B, C와 같이 여러 개로 분류한다. (Multinominal Classification)

- 각 변수에 대하여 sigmoid함수(hypothesis)를 적용시킨다.

 

- Sigmoid를 거친 함수는 Logistic regression과 같이 다양한 값을 가진다. ex) 2 , 1, 0.1

- 이 값들을 합해서 1이 되는 0~1의 값이 되길 원한다.

- 각각을 확률로 볼 수 있다.

En- 그 중 최대값을 얻는다. // One-Hot-Encoding

 

 

SoftMax

Cost함수

구한 결과에 대한 cost함수를 구해야한다.

정답일 경우 : 0 / 오답일 경우 : 무한대

Logistic cost VS cross entropy

Logistic cost와 cross entropy 둘이 같은거다 왜 ?

Cost function

값이 여러 개일 때 cost 함수를 일반화 하면 이렇게 된다.

Gradient descent

 

cost를 최소로 만들기 위해 Gradient descent를 사용하여 최적(최소의 loss, cost)의 결론을 얻는다.

미분해서 기울기를 타고내려간다. // 직접 미분안하고 컴퓨터로 찾아라 힘드니깐