統(tǒng)計(jì)機(jī)器學(xué)習(xí)三個(gè)要素：

一、模型(model)：

模型在未進(jìn)行訓(xùn)練前，其可能的參數(shù)是多個(gè)甚至無(wú)窮的，故可能的模型也是多個(gè)甚至無(wú)窮的，

這些模型構(gòu)成的集合就是假設(shè)空間。

二、策略(strategy)：

即從假設(shè)空間中挑選出參數(shù)最優(yōu)的模型的準(zhǔn)則。模型的分類(lèi)或預(yù)測(cè)結(jié)果與實(shí)際情況的誤差(損失函數(shù))越小，模型就越好。那么策略就是誤差最小。

三、算法(algorithm)：

即從假設(shè)空間中挑選模型的方法(等同于求解最佳的模型參數(shù))。機(jī)器學(xué)習(xí)的參數(shù)求解通常都會(huì)轉(zhuǎn)化為最優(yōu)化問(wèn)題，故學(xué)習(xí)算法通常是最優(yōu)化算法，例如最速梯度下降法、牛頓法以及擬牛頓法等。

基于學(xué)習(xí)方法的分類(lèi)