Day1-1-3 딥러닝의 역사

인공 신경망의 70년 역사

McCulloch-Pitts 모델 (1943) - 최초 수학적 뉴런 모델 

 

 

McCulloch-Pitts 모델의 가설

1. 뉴런은 활성화되거나 혹은 활성화되지 않은 2 가지 상태이다. 즉, 뉴런의 활성화는 'All-or-nothing' 프로세스이다.
2. 어떤 뉴런을 흥분되게 (excited) 하려면 2개 이상의 고정된 수의 시냅스가 일정한 시간내에 활성화 (activated) 되어야 한다.
3. 신경 시스템에서 유일하게 의미있는 시간지연 (delay) 은 시냅스에서의 지연 (synaptic delay) 이다.
4. 어떠한 억제적인 (inhibitory) 시냅스는 그 시각의 뉴런의 활성화 (activation) 를 절대적으로 방지한다
5. 신경망의 구조는 시간에 따라 변하지 않는다.

 

* 신경망이 어떤 산술함수나 논리함수도 계산할 수 있음을 증명했다.

* 뉴런이 입력 신호의 가중 합산과 임계치를 비교해 출력을 결정한다.

* 단, 네트워크의 훈련 방법이 없었다.

Perceptron 모델 (1956) - 학습하는 인공신경망

McCulloch-Pitts의 신경망 모델과 햅의 가설을 바탕으로 한 학습하는 신경망을 개발

 

동작방식

 각 노드의 가중치와 입력치를 곱한 것을 모두 합한 값이 활성함수에 의해 판단되는데, 그 값이 임계치(보통 0)보다 크면 뉴런이 활성화되고 결과값으로 1을 출력한다. 뉴런이 활성화되지 않으면 결과값으로 -1을 출력한다.

(가장 간단한 Feedforward)

 

1969년

XOR 베타 논리합 문제

퍼셉트론으로 문제를 해결 할 수 없다는 것을 증명

2개의 뉴런과 AND연산을 하는 계층이 필요

 

|

XOR 문제를 풀기 위한 다층 퍼셉트론 네트워크

네트워크를 설계했으나 학습 규칙을 만들지 못함

|

동결

|

역전파 알고리즘

역방향으로 각 뉴런에 오차를 전파하여 각 뉴런의 가중치와 편향 값을 오차를 최소화 하는 방향으로 조정

---

여전한 문제점

 

---

Deep Learning 

---

딥러닝의 강점

• 복잡한 함수를 매우 잘 근사한다
• Feature Selection을 자동으로 해준다
• 인간의 능력을 뛰어넘는 성능을 보여주고 있다
• 새로운 것을 생성하는 능력이 있다
• 머신 러닝을 Deep하게 만들어 준다.

 

딥러닝의 어려움

• 데이터가 매우 많이 필요하다
• 훈련 시간이 매우 길다
• 오류를 알기도 어렵고 디버깅이 어렵다
• 하이퍼파라미터가 많아서 튜닝이 어렵다
• 하드웨어 비용이 비싸다
• 생체 신경망과 많이 다르다