ML — weight 값 초기화하기

위 그래프에서 2개의 ReLU 함수의 비용 함수 그래프를 보면 모양이 다른데, 이 두 그래프는 동일한 dataset을 이용했지만 초기값이 무엇이냐에 따라 위와 같이 다른 결과를 갖게 되었다. 따라서 초기값을 잘 설정하는 것도 정확도를 높이는데 중요한 방법이 된다는 것을 알 수 있다.

초기값 weight 설정하기

모든 초기 weight 값을 0으로 준다? 0으로 주게 되면 y = wx+b라는 함수 자체가 작동하는 것이 어려워진다. 절대로 모든 초기 값에 0을 주면 안된다. 학습 자체가 불가능해진다.

• RBM(2006): 2개의 레이어를 이용해서 encode와 decode를 반복해서 weight를 학습. 이러한 과정을 모든 레이어에 거쳐 학습. 즉 pre-training 과정을 거치면 각 레이어마다 초기값 weight가 나온다. 이 RBM을 이용해 초기화 시킨 네트워크를 Deep Belief Nets라고 한다.
• Xavier 초기화 / He 초기화 방식은 RBM보다 훨씬 단순한 방식으로 초기화 할 수 있으므로 요즘은 이 2가지 방식을 이용. 아직 가중치를 초기화 하는 완벽한 방식은 없는 상황. 여러가지 초기화 방식을 실현시켜보아야 함.