ML lec06 - Softmax Regression(Multinominal Logistic Regression)
이전 lecture : Logistic regression
기본적으로 HL(x) = Wx이다.
이에 대한 값은 100, 200, 10 등 다양해서 0, 1 중 고르기엔 적합하지 않다.
그래서 z = HL(x)를 만들어서 , g(z) = 0 ~ 1 로 값이 나오길 원했다.
그 결과 g(z) = 11+e-z ( sigmoid logstic) 를 만들어냈다.
결론적으로 HR(x) = g(HL(x)) 식을 만들었다.
Multinominal Classification
0, 1이 아닌 A, B, C와 같이 여러 개로 분류한다. (Multinominal Classification)
- 각 변수에 대하여 sigmoid함수(hypothesis)를 적용시킨다.
- Sigmoid를 거친 함수는 Logistic regression과 같이 다양한 값을 가진다. ex) 2 , 1, 0.1
- 이 값들을 합해서 1이 되는 0~1의 값이 되길 원한다.
- 각각을 확률로 볼 수 있다.
En- 그 중 최대값을 얻는다. // One-Hot-Encoding
SoftMax
Cost함수
구한 결과에 대한 cost함수를 구해야한다.
정답일 경우 : 0 / 오답일 경우 : 무한대
Logistic cost VS cross entropy
Logistic cost와 cross entropy 둘이 같은거다 왜 ?
Cost function
값이 여러 개일 때 cost 함수를 일반화 하면 이렇게 된다.
Gradient descent
cost를 최소로 만들기 위해 Gradient descent를 사용하여 최적(최소의 loss, cost)의 결론을 얻는다.
미분해서 기울기를 타고내려간다. // 직접 미분안하고 컴퓨터로 찾아라 힘드니깐