ML — Basic Concepts 3

Cost 를 최소화 하는 방법: Gradient Descent Algorithm

Gradient Descent Algorithm을 이용하면 cost 가 가장 작을 때의 w와 b의 값을 찾아낼 수 있다.

How it works
1) Start with initial guesses: (0, 0)부터 시작해도 되고 아무 값에서 부터 시작할 수 있다.
2) w와 b의 값을 미세하게 바꿔가면서 최소 값을 찾아나간다.
: 항상 최저점(최소값)에 도착할 수 있다는 것이 이 알고리즘의 장점

 

경사도는 어떻게 구할까?
: 미분의 개념을 이용해서 그래프의 경사도를 구할 수 있다.

 

Gradient Descent Algorithm은 cost function이 Convex Function 형태를 띨 때는 항상 최소 값을 찾아낼 수 있는데 convex function은 함수의 형태가 볼록한 형태를 말하며 어느 값에서 시작하든 항상 동일한 최저점에 도달할 수 있다.

따라서 gradient descent 알고리즘으로 정확한 최소값을 찾기 위해서는 cost function을 설계할 때 그 함수의 모양아 convex 형태인지 확인해야 한다.