홍석쓰 블로그

머신러닝은 objective function ( loss function )의 값을 minimize한다는 면에서 최적화의 일종으로 볼 수 있다. 하지만 이전의 최적화문제와 차이점이 이론적으로도, 실질적으로도 분명히 있고, 그렇기 때문에 machine learning이라는 분야를 별도로 취급한다. 첫째. 이론적으로 최적화 문제는 수학(mathematics)의 영역이고 머신러닝은 엔지니어링(engineering)의 영역이다. 최적화 문제의 Solution은 수학적으로 도출/설명이 가능하지만, 머신러닝의 Solution은 수학적으로 설명 불가능하며 ambiguous한 면이 있다. 머신러닝의 Solution은 아이디얼한 정답을 근사할 뿐이다. 출처: Quora 둘째. 실질적으로 최적화 문제는 가지고 있는 데이터..

이전 포스트에서 왜 Generative Models의 정의가 P(X,Y)를 구하는 게 아니라 왜 P(X)를 구한 후 샘플링하는 것이 목적이라고 하는 지 이해가 안 간다고 하였다. 여러 VAE를 설명하는 해외/국내 블로그들이 시작할 때 P(X)가 목표다 라고 하는데, 실제로는 Given Y에 대해 가장 그럴듯한 데이터 X를 생성하는 것이 목표이므로 P(X,Y)가 목표라고 생각한다. 곰곰이 생각해본 결과, 결과적으로 Generative Models 중 하나인 VAE가 결국 P(Y|X), P(X,Y), P(X|Y)를 모두 학습하기 때문에 P(X) / 데이터의 진정한 분포를 학습한다고도 할 수 있는 것 같다. GAN이 Implicit하게 P(X)를 구한다는 표현은 P(Y|X), P(X,Y), P(X|Y)를 따로..