moment garden

학습 데이터에 대해 매우 높은 정확도를 갖는 것과 어느 정도의 오차는 허용하는 적당한 정확도를 갖는 것이 있다. 전자가 더 좋은 모델 같지만 정확도가 과하게 높다는 것은 해당 데이터셋에 대해서만 정확하게 작동할 뿐 응용력이 떨어질 수 있다는 단점이 있다. 어떤 데이터를 트레이닝할 때 오차를 전혀 허용하지 않으려 하는 것을 overfitting이라고 한다. Solutions for overfitting 학습 데이터가 많으면 많을 수록 좋다. regularization Dropout overfitting을 막는 또 다른 방식. 랜덤하게 특정 뉴런들을 0으로 만들어버리자는 신박한 아이디어. 각각의 뉴런들이 있으면 일부는 잠시 쉬게하고 일부만 움직이도록 하는 것인데, 마지막에는 이 뉴런들을 총 동원해서 결과를 ..

위 그래프에서 2개의 ReLU 함수의 비용 함수 그래프를 보면 모양이 다른데, 이 두 그래프는 동일한 dataset을 이용했지만 초기값이 무엇이냐에 따라 위와 같이 다른 결과를 갖게 되었다. 따라서 초기값을 잘 설정하는 것도 정확도를 높이는데 중요한 방법이 된다는 것을 알 수 있다. 초기값 weight 설정하기 모든 초기 weight 값을 0으로 준다? 0으로 주게 되면 y = wx+b라는 함수 자체가 작동하는 것이 어려워진다. 절대로 모든 초기 값에 0을 주면 안된다. 학습 자체가 불가능해진다. RBM(2006): 2개의 레이어를 이용해서 encode와 decode를 반복해서 weight를 학습. 이러한 과정을 모든 레이어에 거쳐 학습. 즉 pre-training 과정을 거치면 각 레이어마다 초기값 w..

AND나 OR문제에 대해서는 한 개의 logistic regression 으로도 해결할 수 있었지만, XOR문제의 경우 하나의 logistic 모델로는 불가능 하다는 것이 수학적으로 증명되면서 한계에 직면했다. XOR 문제를 해결하기 위해서 logistic regression을 여러개 이용해서 푸는 방법이 등장했다. 이는 Neural Network 형태를 띠게 되며, XOR 문제를 풀 수는 있지만 W와 b를 학습하는 것은 불가능한것으로 보였다. NN으로 XOR 푸는 방식 임의로 W와 b값을 지정해 여러개의 logistic regression에 X1과 X2값을 입력해서 결과값이 제대로 나오는지 확인하는 방식이다. X1과 X2 한 쌍의 값이 (0, 0), (0, 1), (1, 0), (1, 1)일 때 이미 ..

Sigmoid의 한계 Sigmoid 함수는 binary classification 에 적절함 함수다. 일정 값을 기준으로 0인지 1인지구분함으로써 분류하는 방식이다. 딥러닝에서는 특정 임계치를 넘을 때만 활성화되기 때문에 activation function 중의 하나로 구분되는 함수다. 보통 처음은 input layer, 마지막은 output layer 라고 하는데, 이 가운데 보이지 않는 부분은 hidden layer로 칭한다. 실제로 9개의 hidden layer 가 있다고 했을 때 Tensorflow에 돌려 보면 정확도가 0.5밖에 안되는.. 1개 hidden layer일때 보다도 못한 결과가 나오게 된다. 왜 이런 문제가 발생할까? backpropagation(1986): 2단 3단 정도의 레이어..