moment garden

Training and Testing data sets training 데이터 셋으로 학습시킨 모델을 이용해 test 데이터 셋으로 테스트를 한다는 건 교과서로 공부한 후 실전 문제로 시험을 보는 것과 같다. 여러 번에 걸쳐 training 시킨 후 학습 결과를 확인하기 위해 test하는 작업을 반복해야 한다. 보통 트레이닝 셋과 테스트 셋은 완전히 구분되어 있다. training data set은 다시 2가지로 구성되기도 하는데, 실제 train을 위한 약 70%의 training data set과 validation 체크를 위한 약 30%의 validation data set이다. 시험으로 치면 validation은 모의고사라고 할 수 있다. Online Learning dataset이 굉장히 많은 ..

Learning rate 를 조절하는 방법 보유한 데이터를 선처리 하는 방법 ML의 주요 문제 중 하나인 overfitting을 방지하는 방법에 대해 배운다. Learning rate cost를 최소화 하기 위한 gradient descent algorithm을 구현하는 과정에서 learning rate의 개념을 배웠다. 이 값을 보통 임의로 설정하게 되는데, 매우 큰 값으로 잡게 되면 그래프에서 하강하는 폭이 매우 크다는 것을 의미한다. 이 경우 학습이 이루어지지 않을 뿐만 아니라 최저점에 도달하는 것을 넘어서 그 반대 방향의 그래프에 도달할만큼 overshooting이 발생할 수 있다. 반대로 learning rate가 매우 작을 경우 최저점에 도달하는 데 까지 소요되는 시간이 길어지고, global..

Where is sigmoid? X 값을 주게 되면 Y 값은 벡터 형태로 출력된다. 위 이미지의 2.0, 1.0, 0.1 값이 그것인데 첫번째 값이 A에 해당하는 값이고 차례로 B와 C에 해당하는 값이다. 하지만 이 3개 값은 sigmoid가 적용되지 않은 값이다. sigmoid function을 활용해 0~1사이에 값이 놓이도록 해야한다. 정리를 해보면, logistic classifier 를 사용해서 WX형태로 벡터화 하여 계산을 하면 입력값에 대해 2.0, 1.0, 0.1 과 같은 벡터 값을 출력한다. 여기서 원하는 바는 0~1사이의 값. 이들의 총합이 1이되는 값들을 구하는 것이다. 0~1사이의 값을 구하기 위해 Softmax 함수를 이용한다. n개의 Y 값(Scores)을 softmax 함수에 ..

Softmax classification: Multinomial classification : 여러 개의 클래스를 예측 하는 방법 여러 변수 값을 기준으로 여러 종류의 결과값 중에서 선택하는 알고리즘인 multinomial classification에 대해 알아보자. 예를 들어 여러 시험 점수 값에 따라 A, B, C 등 다양한 결과값으로 성적을 부여하는 알고리즘이라고 할 수 있다. logistic classification의 역할을 직관적으로 살펴보면, logistic classification 을 학습시킨다라는 말은 x1과 x2를 구분하는 선을 찾아낸다는 의미와도 같다. 구분하는 것을 학습 하는 것. 이 개념을 multinomial classication 에 적용할 수 있다. 2개 클래스가 있을 경우..