[Paper] Impact of Data Normalization on Deep Neural Network for Time Series Forecasting

본 논문은 아래의 방법 중 tanh estimator가 가장 좋은 normalization 기법이라고 주장함.

Techniques

• Min-Max Normalization
  • 일정 범위로 변환 [0,1] or [-1,1] : [low,high]
    • $X$: input data set
    • $x$: input value
    • $minX, maxX$: 최소값, 최대값

$$x_{norm} = \frac{(high-low)*(x-minX)}{maxX-minX}$$

• Decimal Scaling Normalization
  • 소수점을 변환
  • 최대값을 따라 자리 수 변환
    • $d$ : 최소 정수 $Max(|x_{norm}|)<1$

$$ x_{norm} = \frac{x}{10^d} $$

• Z-Score Normalization
  • = Standard Score
  • 0과 표준 편차의 범위로 전환
    • $\mu(X)$: X의 평균
    • $\delta(X)$: X의 표준 편차

$$ x_{norm}=\frac{x-\mu(X)}{\delta(X)} $$

• Median Normalization
  • 중앙값에 의해 정규화

$$ x_{norm}=\frac{x}{median(X)} $$

• Sigmoid Normalization
  • sigmoid 함수 이용하여 정규화

$$ x_{norm}=\frac{1}{1-e^{-x}} $$

• Tanh estimators
  • 아래 공식으로 정규화
  • 가장 효과적인 방법 중 하나
    • $\mu$: X의 평균
    • $\delta$: X의 표준 편차

$$ x_{norm}=0.5\left[tanh\left[\frac{0.01(x-\mu)}{\delta}\right]+1\right] $$

S. Bhanja and A. Das, “Impact of Data Normalization on Deep Neural Network for Time Series Forecasting.” Accessed: Oct. 09, 2022.

‌