Batch Normalization에서의 Backpropagation

CS231n assignment2의 BatchNormalization.ipynb 의 풀이 과정에서 Batch Normalization Backward flow 가 요구되는데, 이를 해결한 두 가지 방법을 간단히 소개하고자 한다. 각각의 아이디어가 batchnorm_backward 와 batchnorm_backward_alt 에 사용되었다.

풀이 1) computational graph을 직접 그려 한 단계씩 계산

풀이 2) 편미분과 연쇄법칙을 직접 활용한 수학적 계산