last update datetime: Mar 07, 2020 4:23 PM
현실에서는 target function 을 알 수 없을 뿐더러, real world 의 모든 infinite 한 datasets 을 모을 수도 없다.
그럼 어떻게 현실에서 bias 와 variance 를 계산할 수 있을까? 이를 시뮬레이션을 하는 방식이 바로 cross validation 이다.
N-fold cross validation
데이터를 N 의 set 으로 쪼갠다.
그리고 하나를 test 데이터로, 나머지를 train data 로 학습한다. variance 와 bias 를 test data 로 계산한다.
N 번의 반복이 가능하니, 기댓값을 구할 수 있을것이다.
Leave One Out Cross Validation
N-fold cross validation의 방식중 하나로, data instance 하나를 N 의 단위로 보는것이다. 총 데이터가 M 개 있으며 N = M 인것이다.