[Advanced ML & DL Week5] Layer Normalization

https://arxiv.org/pdf/1607.06450.pdf

 

제목 : Layer normalization
저자 : Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton (University of Toronto)

 

이 글은 Batch Normalization에 관한 사전 지식이 필요합니다.

---

Abstract

• 딥러닝 학습에는 많은 비용이 들기 때문에 효율적으로 학습하는 방법을 개발해야 함
• Normalization 기법을 통해 비용을 획기적으로 줄일 수 있음
• 기존의 Batch Normalization(BN)은 mini-batch 사이즈에 영향을 받음
• 기존의 BN은 또한 RNN에서 적용하는 방법이 분명하지 않음
• 이를 개선하기 위해 1 Batch를 대상으로 Normalization을 적용한
  Layer Normalization를 고안함

Batch Normalization과 Layer Normalization

• Batch Normalization은 같은 Feature 범위 안에서 여러개의 샘플을 대상으로 Normalization을 진행한다.
• Layer Normalization은 같은 Batch의 샘플 안에서 여러개의 특성을 대상으로 Normalization을 진행한다.

위의 내용을 시각화하여 나타내면 아래와 같습니다.

N은 Mini-Batch Sample의 수이고, C는 Channels, 'H, W'는 Merged Spatial Dimensions입니다. 

 

Analysis

Batch/Weight/Layer normalization의 비교

Image Retrieval

Experimental Results

Attentive reader

Handwriting sequence generating model

Modeling binarized MNIST using DRAW(Deep Recurrent Attentive Writer)

작성자 : 16기 이은찬