Machine Learning

Machine learning은 data로부터 prediction이나 decision을 개선하는 algorithm을 다룹니다. 이 wiki에서는 architecture, learning objective, generative model, evaluation의 기반층입니다.

표준 supervised learning 설정은 empirical risk minimization으로 쓸 수 있습니다.

$$\hat{\theta }=\arg \underset{\theta }{\min }\frac{1}{n}\sum _{i=1}^n\mathcal{L}(f_{\theta }(x_i),y_i)$$

여기서 $f_{\theta }$는 model, $\mathcal{L}$은 loss, $\mathcal{D}=\{(x_i,y_i){\}}_{i=1}^n$는 training set입니다.

Machine Learning Contract

Machine learning note는 데이터에서 claim까지 이어지는 계약을 분리해서 써야 합니다.

$$\mathcal{M}=(\mathcal{D},\varphi ,f_{\theta },\mathcal{Y},\mathcal{L},O,E)$$

이 계약이 명확하지 않으면 모델 이름이 같아도 서로 다른 문제를 푸는 것입니다.

$$\text{model comparison}\Rightarrow \text{same data, task, objective, and evaluation boundary}$$

핵심 구성

• Data: example, label, feature, split, sampling process.
• Model: input을 prediction 또는 representation으로 바꾸는 function class.
• Objective: training 중 최적화하는 quantity.
• Optimization: model parameter를 업데이트하는 절차.
• Evaluation: generalization을 추정하는 절차.
• Generalization: claim의 대상이 되는 held-out 또는 deployment behavior.

Prediction, Objective, Decision

Prediction, training objective, decision rule은 서로 다른 층입니다.

$$x\stackrel{f_{\theta }}{\to }{\hat{p}}_{\theta }(y\mid x)\stackrel{\mathcal{L}}{\to }\text{parameter update}$$

Deployment에서는 prediction을 action으로 바꿉니다.

$$\hat{a}=\delta ({\hat{p}}_{\theta }(y\mid x),\tau ,C)$$

여기서 $\delta$는 decision rule, $\tau$는 threshold, $C$는 cost 또는 constraint입니다.

이동 지도

Boundary With Other Sections

Machine learning is the shared grammar across these sections. Keep it focused on prediction, objective, optimization, model selection, and generalization.

기반

Training과 Selection

Related

• Math foundations
• Tasks
• Data
• Learning methods
• Architectures
• Evaluation