최적화와 머신러닝 (Optimization and ML)

머신러닝은 objective function ( loss function )의 값을 minimize한다는 면에서 최적화의 일종으로 볼 수 있다.

하지만 이전의 최적화문제와 차이점이 이론적으로도, 실질적으로도  분명히 있고, 그렇기 때문에 machine learning이라는 분야를 별도로 취급한다.

첫째. 

이론적으로 최적화 문제는 수학(mathematics)의 영역이고 머신러닝은 엔지니어링(engineering)의 영역이다. 최적화 문제의 Solution은 수학적으로 도출/설명이 가능하지만, 머신러닝의 Solution은 수학적으로 설명 불가능하며 ambiguous한 면이 있다. 머신러닝의 Solution은 아이디얼한 정답을 근사할 뿐이다. 출처: Quora

둘째.

실질적으로 최적화 문제는 가지고 있는 데이터에 대해서만 정답을 제공하지만, 머신러닝은 본 적은 없는 데이터에 대해서도 정답에 근사한 결과를 내놓는다. 즉 일반화(Generalization) 성능이 머신러닝 분야에서는 굉장히 중요하며, train data에 대해서 성능이 좋아도 test data(unseen data)에 대해 성능이 안 좋으면 좋은 머신러닝 모델이 아니다. 출처: towards_datascience