moment garden

Logistic Regression의 Cost 함수 cost function for linear and cf for logistic Hypothesis가 Linear한 형태로 주어지게 되면 그래프가 위와 같은 모양을 띠게 되고, 장점은 어디서 시작하든 간에 최저점에 도달할 수 있다는 것이다. 그런데 hypothesis가 sigmoid function 형태일 경우, 출력되는 값이 항상 0에서 1사이이기 때문에, 이 가설을 이용해 cost function을 그려보면 아래와 같이 울퉁불퉁한 U자형 그래프가 완성된다. 이를 non-convex function 이라고 한다. Unconvex, 출처: https://sebastianraschka.com/faq/docs/logisticregr-neuralnet.htm..

Logistic (regression) classification classification 알고리즘들 중에 정확도가 굉장히 높은 알고리즘 Classification 둘 중 하나, binary한 카테고리 중 하나를 고르는 알고리즘(cf. Regression: 특정 값을 예측하는 것) 예. 페이스북 피드: show or hide 이를 기계적으로 학습하기 위해서는 주로 숫자 0과 1로 인코딩 한다. linear regression 모델이 가진 한계를 먼저 정리하고 가자면. input에 따라 output이 변화하는 정도가 선형적으로 나타나는 이 모델의 경우 특정 input을 입력하는 시점부터 output이 계속 1로만 출력되는, 즉 특정 input을 입력하기 전까지는 output이 계속 0, 그 이후에는 계속..

Cost 를 최소화 하는 방법: Gradient Descent Algorithm Gradient Descent Algorithm을 이용하면 cost 가 가장 작을 때의 w와 b의 값을 찾아낼 수 있다. How it works 1) Start with initial guesses: (0, 0)부터 시작해도 되고 아무 값에서 부터 시작할 수 있다. 2) w와 b의 값을 미세하게 바꿔가면서 최소 값을 찾아나간다. : 항상 최저점(최소값)에 도착할 수 있다는 것이 이 알고리즘의 장점 경사도는 어떻게 구할까? : 미분의 개념을 이용해서 그래프의 경사도를 구할 수 있다. Gradient Descent Algorithm은 cost function이 Convex Function 형태를 띨 때는 항상 최소 값을 찾아낼 ..

Regression 모델 일정량의 데이터 (a training set)을 가지고 학습한 후 특정 값을 입력(input)했을 때 학습한 내용을 토대로 결과 값을 출력(output). Linear Regression : 머신 러닝에서 가장 이해하기 쉬운 알고리즘. Linear 모델의 목표는 학습 데이터들을 관통하는 하나의 직선을 찾아내는 것 — 이 직선을 찾아내기 위해서는 가설을 세우고 H(x) = Wx + b 라는 선형 함수에서 기울기 W와 bias 가 어떤 값을 갖는지 알아내야 한다. 어떤 가설이 더 나을까? 가설이 나타내는 점들 간의 거리를 비교해서 거리가 가까운지, 먼 지를 판단 기준으로 삼는다. Cost Function (or Loss Function) 이렇게 가설과 실제 값 간의 거리를 측정하는 ..