홍석쓰 블로그

머신러닝은 objective function ( loss function )의 값을 minimize한다는 면에서 최적화의 일종으로 볼 수 있다. 하지만 이전의 최적화문제와 차이점이 이론적으로도, 실질적으로도 분명히 있고, 그렇기 때문에 machine learning이라는 분야를 별도로 취급한다. 첫째. 이론적으로 최적화 문제는 수학(mathematics)의 영역이고 머신러닝은 엔지니어링(engineering)의 영역이다. 최적화 문제의 Solution은 수학적으로 도출/설명이 가능하지만, 머신러닝의 Solution은 수학적으로 설명 불가능하며 ambiguous한 면이 있다. 머신러닝의 Solution은 아이디얼한 정답을 근사할 뿐이다. 출처: Quora 둘째. 실질적으로 최적화 문제는 가지고 있는 데이터..

머신러닝 모델 혹은 그 이전에 확률 모델 알고리즘에는 크게 Discriminative Model과 Generative Model이 있다. (머신러닝, 확률 분야의 경계가 명확한 지는 모르겠다) Discriminative Model은 statistical classfication(통계적 분류) 중 하나로 input data X가 있을 때 Y를 바로inference(추론)해내는 알고리즘이다. 바꿔말하면 P(Y|X)를 바로 구한다. 대부분의 Supervised machine learning이 Discriminative Model에 속한다. Discriminative models, also referred to as conditional models, are a class of models used in sta..

머신러닝에서 Validation Set은 왜 필요한가? Train Set, Test Set 둘로만 나눠서 Test set 결과만 가지고 모델들을 비교하면 안되나? 표현을 좀 바꿔보자. 첫번째 사진에서 Test Set을 Validation Set이라고 하고, 왜 Validation Set 결과만 가지고 모델들을 비교하면 안될까? 왜 Test Set이 필요할까? 일단 Validation Set은 모델을 학습시킬 때 직접적으로 사용되지 않지만, Validation Set에서 우수한 결과를 내기 위해 사람이 Validation Set 결과를 보고 계속 Hyperparameter Tuning을 한다. Validation Set에서 최우수한 결과를 내기 위해Hyperparameter들을 fitting한다고도 할 수..