지난 포스팅에서는 회귀분석에 대한 개념과 선형 회귀의 최적 model parameter를 계산하는 방법에 대해 공부했다.$\hat{\beta} = (X^TX)^{-1}X^Ty$ 이 식은 꼭 외우도록 하자! 하지만 학습할 때 주의해야 될 사항이 있다. 바로 과적합이다.과적합은 model이 training data를 너무 신경쓰다보니 정작 test data에서는 예측 성능이 떨어지는 문제를 말한다. training data에 대해서는 완벽하게, 거의 error가 0일 정도로 학습되는데 test data에 대해서는 예측을 잘 하지 못한다.그림으로 이해해 보자. 왼쪽 그림은 파란색과 빨간색을 분류하는 문제이다. 분류를 할 때 data가 하나씩 misclassification될 때마다 error값이 증가할 것이다..
