[Ch5 - 1] 머신러닝이란?

What is Machine Learning?

머신러닝을 한마디로 정의하자면, 복잡한 함수를 측정하기 위해 컴퓨터를 이용하는 applied statistics의 형태이다.

그리고 이러한 statistics에 대한 2가지 주요 접근방식이 존재한다.

1. Frequentist estimators

2. Bayesian inference

Bayesian 과 Frequentist의 차이는 결국 확률을 해석하는 관점의 차이에서 발생한다.

Frequentist는 확률을 사건의 빈도로 보며, Bayesian은 확률을 사건 발생에 대한 믿음 또는 척도로 바라보는 관점이다.

 

예시를 통해 그 직관을 이해해보자.

" A의 말이 사실일 확률은 70%이다 "

Frequentist 관점 : A는 100번 중 70번 사실을 말한다.

Bayesian 관점 : A의 주장이 사실일 가능성(신뢰도)가 70%이다.

 

더 자세한 설명을 원한다면 아래 Reference 에 달아놓은 링크를 참고하면 될 것 같다.

 

머신러닝에는 크게 2가지의 카테고리가 존재하며 이들은 supervised learning과 unsupervised learning으로 나뉜다.

 

각각을 요약하자면, unsupervised learning은, random vector(random variable in vector form) $\mathbf{x}$의 여러 example들을 관찰하고 implicit 혹은 explicit한 방식으로 probability distribution $p(\mathbf{x})$를 알아내는 것 혹은 그 distribution의 흥미로운 성질을 알아내는 것을 말한다. 반면 supervised learning은 random vector $\mathbf{x}$를 관찰하여 그와 연관된 값 혹은 vector $\mathbf{y}$를 측정하려고 하는 것을 말한다. 즉, $\mathbf{x}$에서 $\mathbf{y}$를 예측하는 것을 학습하는 것을 의미한다.

 

Unsupervised learning과 Supervised learning은 formal하게 정의된 개념이 아니므로 종종 그 둘 사이의 선이 불명확해질 때도 존재한다. 많은 머신러닝 기술들은 2가지를 동시에 수행할 수 있게 되는데 그에 대한 예시로 vector $\mathbf{x}\in\mathbb{R}^n$에 대한 joint distribution은 다음과 같이 분해되어 작성될 수 있다.

 

$$ p(\mathbf{x})=\prod^n_{i=1}p(x_i|x_1,\ldots,x_{i-1}) $$

 

위 식의 의미는 곧 우리는 $p(\mathbf{x})$를 modeling하는 unsupervised problem을 n개의 supervised learning problems로 분해할 수 있다는 의미가 된다. 다른말로 우리는 joint distribution $p(\mathbf{x},y)$을 학습하는 unsupervised learning을 통해 $p(y|\mathbf{x})$를 학습하는 supervised learning 문제 또한 알아낼 수 있다는 이야기가 된다. 

 

$$ p(y|\mathbf{x})=\frac{p(\mathbf{x},y)}{\sum_{y'}p(\mathbf{x},y')} $$

 

 

그리고 대부분의 딥러닝 알고리즘들은 stochastic gradient descent라는 optimization algorithm에 기반한다.

 

머신러닝을 다음과 같이 task, performance measure, task로 정의하는 것도 존재한다.

 

A computer program is said to learn from experience E w.r.t some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E. - T.Michell 1997

 

한마디로, 컴퓨터는 T에 속하는 tasks와 그 task에 대한 performance를 측정하는 P가 경험 E에 따라 향상되게 된다면 컴퓨터는 학습한다고 이야기할 수 있다는 것이다.

T,P,E에 대한 자세한 설명은 생략하겠다.

 

 

 

 

Reference

Deep Learning Book

https://www.deeplearningbook.org/

Deep Learning

Bayesian vs Frequentist

https://learning.edanz.com/frequentist-bayesian-statistics/

Frequentist vs. Bayesian Statistics – Which should you use? | Edanz Learning Lab