Cost function

Cost function은 머신러닝에서 해당 파라미터(θ)에 대해 학습하는 가정(hypothesis function)의 정확성을 나타내며 0에 가까울수록 답에 근접한 것이다. 보통 J(θ)로 표기.

• • 예상한 값과 실제 결과값의 평균 차이를 나타내는 값으로 수학적으로 정의되어있음.
    • 표준편차와 달리 차의 제곱의 합을 개수x2 로 나눔

cost function 값이 낮아지도록 parameter를 정하는 방법

• Gradient descent algorithm: cost function의 local or global optimal(최소값)을 찾기 위한 iterative 알고리즘
  • learning rate(α)를 정해줘야함.
    • too small: slow convergence.
    • too large: may not decrease on every iteration and thus may not converge.
  • Feature scaling: 효율적으로 gradient descent algorithm 적용을 위해 각 feature(보통 변수 x로 표현)를 scaling하는 것으로 주로 mean normalization 이용.
  • feature 수(n)이 커도 비교적 빠름 (O(kn^2k)
• Normal Equation: 방정식을 이용해 바로 cost function 값이 낮은 parameter를 찾는 방법.
  • No need to choose alpha, No need to iterate
  • slow if n is very large(O(n^3))