Day1-2 순방향 신경망(Feedforward Network)

1. 함수로서의 인공신경망
2. 피드포워드 네트워크 구조
3. 입력 계층 (Input Layer)
4. 은닉 계층 (Hidden Layer)
5. 출력 계층 (Output Layer)
6. 네트워크 크기

 

1. 함수로서의 인공신경망 

Universal Approximation Theorem

한정된 수의 뉴런을 포함하는 단일 은닉 계층이있는 피드 포워드 네트워크는 Rn의 압축 하위 집합에 대한 연속 함수를 근사화 할 수 있습니다. (단, 활성화 함수는 비선형함수)

“더 깊은 신경망이 필요한가?”
• 신경망을 깊게 하면 적은 수의 뉴런으로 함수를 구현할 수 있음
• 신경망이 깊어질수록 함수를 정확하게 근사할 수 있음 (임계점이 적어지고 Local Minima가 모여서 최적점을 잘 찾음)
(“Geometry of energy landscapes and the optimizability of deep neural networks”, Cambridge, 2018)

---

2. Feedforward 네트워크 구조 

Feedforward 네트워크

네트워크 설계

---

3. 입력 계층 (Input Layer) 

---

4. 은닉 계층 (Hidden Layer) : Activation Function

Activation Function의 종류

- 계단 함수 (Step Function)

- 시그모이드 함수 (Sigmoid Function)

* 비선형함수

Gradient vanishing 문제

: network가 매우 느리게 배운다. local minimum에 도달

 

1. Gradient Saturation

 입력 신호의 값이 커질수록(작아질수록) 뉴런의 활성화률(firing rate)이 ​1(작아질 경우 0)로 수렴(saturation)한다.

 수렴된 뉴런의 gradient 값이 0 이기 때문에 역전파(Back propagation)가 진행될 때 0이 곱해져서 아무것도 전달되지 않는다.

2. Not zero-centered

평균이 ​0.5이다. 원점 중심이 아니다.

편향 이동(bias shift) : 항상 양수를 출력하기 때문에 출력의 가중치 합이 입력의 가중치 합보다 커질 가능성이 높다.

    -> 각 레이어를 지날 때마다 분산이 계속 커져 가장 높은 레이어에서는 활성화 함수의 출력이 0이나 1로 수렴

 

참고 : https://excelsior-cjh.tistory.com/177

 

- 하이퍼볼릭 탄젠트 함수 (Tanh Function)

x

- 정류 선형 유닛 ReLU (Rectified Linear Unit)

 

Dead ReLU 문제

 

음수에서 Gradient 계산 되지 않는다.

초기화를 잘못하거나 Learning Rate가 매우 클 때 발생한다.

Test 데이터의 10~20%가 Dead ReLU이면 문제가 될 수 있다.

이것을 개선한게 다음 Leaky ReLU

 

- Leaky ReLU

음수 구간에 gradient가 생김으로써 훈련 속도가 빨라진다.

 

- ELU (Exponential Linear)

Hidden Summary

- Learning Rate를 잘 선택해서 ReLU를 사용하자

- Leaky ReLU/ Maxout / ELU 등의 ReLU Family 좋다.

- Sigmoid 사용 X Tahn도 그다지 별로.

---

5. 출력 계층 (Output Layer) 

6. 네트워크 크기

설계