ML — Basic concepts 7

Where is sigmoid?

X 값을 주게 되면 Y 값은 벡터 형태로 출력된다. 위 이미지의 2.0, 1.0, 0.1 값이 그것인데 첫번째 값이 A에 해당하는 값이고 차례로 B와 C에 해당하는 값이다. 하지만 이 3개 값은 sigmoid가 적용되지 않은 값이다. sigmoid function을 활용해 0~1사이에 값이 놓이도록 해야한다. 정리를 해보면,

logistic classifier 를 사용해서 WX형태로 벡터화 하여 계산을 하면 입력값에 대해 2.0, 1.0, 0.1 과 같은 벡터 값을 출력한다. 여기서 원하는 바는 0~1사이의 값. 이들의 총합이 1이되는 값들을 구하는 것이다. 0~1사이의 값을 구하기 위해 Softmax 함수를 이용한다.

n개의 Y 값(Scores)을 softmax 함수에 넣게 되면 우측의 값들을 만들어준다. 이 확률 값들은 첫째, 0~1사이의 값이며 둘째, 이 N개의 확률 값들의 총합이 1이어야 한다는 2가지 조건을 만족시킨다.

이 P(robability)값들은 각각 A, B, C 클래스에 속할 확률을 의미한다. 확률적으로 가장 높은 클래스 딱 하나만 선택하고자 한다면 One-hot 인코딩 방식을 이용해 해당하는 클래스는 1, 그 외 클래스들은 0으로 표현할 수 있다.

 

Cross-entropy cost function