Since. 24살

1. 함수로서의 인공신경망 2. 피드포워드 네트워크 구조 3. 입력 계층 (Input Layer) 4. 은닉 계층 (Hidden Layer) 5. 출력 계층 (Output Layer) 6. 네트워크 크기 1. 함수로서의 인공신경망 Universal Approximation Theorem 한정된 수의 뉴런을 포함하는 단일 은닉 계층이있는 피드 포워드 네트워크는 Rn의 압축 하위 집합에 대한 연속 함수를 근사화 할 수 있습니다. (단, 활성화 함수는 비선형함수) “더 깊은 신경망이 필요한가?” • 신경망을 깊게 하면 적은 수의 뉴런으로 함수를 구현할 수 있음 • 신경망이 깊어질수록 함수를 정확하게 근사할 수 있음 (임계점이 적어지고 Local Minima가 모여서 최적점을 잘 찾음) (“Geometry of..

인공 신경망의 70년 역사 McCulloch-Pitts 모델 (1943) - 최초 수학적 뉴런 모델 McCulloch-Pitts 모델의 가설 1. 뉴런은 활성화되거나 혹은 활성화되지 않은 2 가지 상태이다. 즉, 뉴런의 활성화는 'All-or-nothing' 프로세스이다. 2. 어떤 뉴런을 흥분되게 (excited) 하려면 2개 이상의 고정된 수의 시냅스가 일정한 시간내에 활성화 (activated) 되어야 한다. 3. 신경 시스템에서 유일하게 의미있는 시간지연 (delay) 은 시냅스에서의 지연 (synaptic delay) 이다. 4. 어떠한 억제적인 (inhibitory) 시냅스는 그 시각의 뉴런의 활성화 (activation) 를 절대적으로 방지한다 5. 신경망의 구조는 시간에 따라 변하지 않는다..

1. 딥러닝이란 인공지능 (Artificial Intelligence) - 어떤 문제를 사고하고 해결할 수 있는 지능을 만드는 기술 머신러닝 (Machine Learning) - 기계 스스로 학습을 통해 지능을 습득하는 것에 관한 기술 딥러닝 (Deep Learning) - 인공 신경망을 이용한 머신러닝 기법 인공신경망 * 생체 신경망의 작동 원리를 모방해서 만든 인공 신경망 * 인공 뉴런들이 서로 복잡하게 연결되어 있는 네트워크 * 뉴런은 신호를 받아서 임계치 이상이 되면 신호를 발화 : 활성화 함수 (Activation function) 인공뉴런 The map of the machine learning world https://vas3k.com/blog/machine_learning/

1. 배경 Sequence Data ex) 음악/소리(Sound), 문자 언어/소리 언어(Language), 동영상/애니메이션(Video), 운동(Locomotion), DNA 염기 서열, 주가 차트(Trend), 자연 현상(Natural Phenomenon) 이러한 Sequence Data를 학습시키는 모델 기억을 갖는 신경망 Association Memory (1982) - Hopefield Network 2. RNN 구조 기억을 갖는 신경망 Feedforward Neural Network RNN (Recurrent Neural Network) Vanilla RNN 기억의 형태 RNN 응용 3. RNN 주요 모델 Many-to-One Many-to-Many -Teacher Forcing One-to-..

이전 lecture : Logistic regression 기본적으로 HL(x) = Wx이다. 이에 대한 값은 100, 200, 10 등 다양해서 0, 1 중 고르기엔 적합하지 않다. 그래서 z = HL(x)를 만들어서 , g(z) = 0 ~ 1 로 값이 나오길 원했다. 그 결과 g(z) = 11+e-z ( sigmoid logstic) 를 만들어냈다. 결론적으로 H­R(x) = g(HL(x)) 식을 만들었다. Multinominal Classification 0, 1이 아닌 A, B, C와 같이 여러 개로 분류한다. (Multinominal Classification) - 각 변수에 대하여 sigmoid함수(hypothesis)를 적용시킨다. - Sigmoid를 거친 함수는 Logistic regres..

Logistic Classification - classcification중 에서 정확도가 높다. 굉장히 중요한 알고리즘이다. Regression(HCG) : 복습 Hypothesis(가설) Cost(가설과 실제의 차이) Gradinent decent(경사하강법) Binary Classification 둘(0,1)중 하나로 결정한다 - Spam Detection : Spam or Ham : 스팸 이메일 탐지 : spam 1 or ham 0 - Facebook feed : show or hide : facebook에서 좋아요한 데이터를 기준으로 수많은 타임라인을 선택적으로 보여준다. : show 1 or hide 0 - Credit Card Fraudulent Transaction detections : ..

Predicting exam score : regression using three inputs ( x1, x2, x3) Hypothesis $$H(x) = Wx + b$$ $$H(x_1, x_2, x_3) = w_1x_1 + w_2x_2 + w_3x_3 + b$$ Cost function $$H(x_1, x_2, x_3) = w_1x_1 + w_2x_2 + w_3x_3 + b$$ $$cost(W,b) = {{1}\over{m}}\sum_{i=1}^m {(H(x_1^{(i)},x_2^{(i)},x_3^{(i)})-y^{(i)})^2}$$ Multi-variable $$H(x_1, x_2, x_3) = w_1x_1 + w_2x_2 + w_3x_3 + b$$ $$H(x_1, x_2, x_3, ..., x_n..

Simplified hypothesis H(x) = Wx ${cost(W)} = {{{1}\over{m}} \sum_{i=1}^{m} {Wx^{(i)} - y^{(i)}}}$ W = 1, cost(W) = 0 $ {{1}\over{3}} { ( (1*1-1)^{2} + (1*2-1)^{2} + (1*3-1)^{2} )} $ W = 0, cost(W) = 4.67 ${{1}\over{3}}{((0*1-1)^{2} +(0*2-1)^{2} +(0*3-1)^{2})}$ W = 2, cost(W) = 4.67 ${{1}\over{3}}{((2*1-1)^{2} +(2*2-1)^{2} +(2*3-1)^{2})}$ What cost(W) looks like? ${cost(W)} = {{1}\over{m}} {\sum_..

(Linear) Hypothesis H(x) = Wx + b W와 b에 따라 가설이 결정된다. Which hypothesis is better? 차이가 적을 때! Cost function (Loss function) $H(x) - y$ How fit the line to our(training) data $(H(x) - y)^2$ 차이를 더 잘 알 수 있다! $cost = {\sum_{i=1}^{m} {(H(x^{(i)}) - y^{(i)}) ^2}}$ 여기에 $H(x) = Wx + b$ 을 적용하면 $${cost(W, b)} = {{1}\over{m}} {\sum_{i=1}^{m} {(H(x^{(i)}) - y^{(i)}) ^2}}$$ Goal : Minimize cost minimize cost(W,b)

- ML : Machine Learning 기계학습 - learning : 학습 - regression 회기 - classification 분류 Suervised / Unsupervised learning Suervised learning learning with labeled examples - training set 지도학습 Training data set을 통해서 Unsupervised learning Google news groping Word clustering 비지도학습 데이터를 스스로 학습 Types of supervised learning Predicting final exam score based on time spent // 0~100 regression // 회기 Pass/non - ..