機(jī)器學(xué)習(xí)方法匯總一

　　1.決策樹算法

　　決策樹是一種樹形分類結(jié)構(gòu)，一棵決策樹由內(nèi)部結(jié)點(diǎn)和葉子結(jié)點(diǎn)構(gòu)成，內(nèi)部結(jié)點(diǎn)代表一個(gè)屬性(或者一組屬性)，該結(jié)點(diǎn)的孩子代表這個(gè)屬性的不同取值;葉子結(jié)點(diǎn)表示一個(gè)類標(biāo)。決策樹保證每一個(gè)實(shí)例都能被一條從根結(jié)點(diǎn)到葉子結(jié)點(diǎn)的路徑覆蓋，葉子結(jié)點(diǎn)就是這條實(shí)例對(duì)應(yīng)的類別，遍歷這條路徑的過程就是對(duì)這條實(shí)例分類的過程。關(guān)于決策樹的詳細(xì)介紹，可以參考這篇文章。

　　損失函數(shù)

　　假設(shè)決策樹T的葉結(jié)點(diǎn)個(gè)數(shù)為|T|，t是樹T的某個(gè)葉結(jié)點(diǎn)，該結(jié)點(diǎn)有\(zhòng)(N_t\)個(gè)樣本點(diǎn)，其中k類的樣本點(diǎn)有\(zhòng)(N_{tk}\)個(gè)，k=1,2,…,K(K為類別個(gè)數(shù))，\(H_t(T)\)為葉結(jié)點(diǎn)t上的經(jīng)驗(yàn)熵(即從訓(xùn)練數(shù)據(jù)算出的熵)，決策樹模型對(duì)訓(xùn)練數(shù)據(jù)的預(yù)測(cè)誤差\(C(T)\)定義為

　　\(C(T)=\sum_{t=1}^{|T|}N_tH_t(T)=-\sum_{t=1}^{|T|}\sum_{k=1}^{K}N_{tk}log\frac{N_{tk}}{N_t}\)

　　損失函數(shù)\(C_\alpha(T)\):

　　\(C_\alpha(T)=C(T)+\alpha|T|\)

　　參數(shù)\(\alpha>=0\)控制預(yù)測(cè)誤差與模型復(fù)雜度的影響。

　　優(yōu)化目標(biāo)

　　在決策樹的構(gòu)造階段，其優(yōu)化目標(biāo)是尋找最優(yōu)的分裂屬性，具體實(shí)現(xiàn)是最大化屬性選擇指標(biāo)，包括信息增益、信息增益比率、基尼指數(shù)等，構(gòu)造階段用貪心策略得到局部最優(yōu)的模型。

　　在剪枝階段，其優(yōu)化目標(biāo)是最小化損失函數(shù)\(C_\alpha(T)\)，即

　　\(min_TC_a(T)\)

　　剪枝階段是一個(gè)全局優(yōu)化的過程，如果把@$\alpha$@設(shè)置得較大，則傾向于選擇簡(jiǎn)單的樹(此時(shí)預(yù)測(cè)誤差較大，而泛化能力較好)，而如果$\alpha$設(shè)置得較小，則傾向于選擇更復(fù)雜的模型(此時(shí)預(yù)測(cè)誤差較小，而泛化能力偏差);設(shè)置為0，那就只考慮預(yù)測(cè)誤差，即對(duì)訓(xùn)練數(shù)據(jù)的擬合程度最高，但對(duì)未見過的數(shù)據(jù)，分類能力并不高。一個(gè)適當(dāng)?shù)腀$\alpha$@在預(yù)測(cè)誤差與模型復(fù)雜度(泛化能力)之間平衡。

　　2.線性回歸

　　線性回歸使用線性模型擬合因變量與目標(biāo)變量的關(guān)系，是最簡(jiǎn)單的預(yù)測(cè)模型。

　　假設(shè)函數(shù)

　　其中\(zhòng)(x_0=1\)

　　損失函數(shù)

　　\(C(\theta)=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2\)

　　優(yōu)化目標(biāo)

　　選擇合適的參數(shù)組\(\theta\)，使得損失函數(shù)最小化：

　　\(min_\theta(C(\theta))\)

　　優(yōu)化實(shí)現(xiàn)

　　使用梯度下降法，不斷地進(jìn)行迭代，每一步的方向是負(fù)梯度方向：

　　\(\theta_j=\theta_j-\alpha\frac{\partial }{\partial \theta_j}Cost(\theta)=\theta_j-\alpha\frac{1}{m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}\)

　　3.邏輯回歸

　　邏輯回歸于線性回歸有著驚人的相似，卻又有著本質(zhì)的不同，線性回歸的假設(shè)函數(shù)度量了一個(gè)線性模型對(duì)因變量和目標(biāo)變量的擬合，即給定一個(gè)輸入，通過一個(gè)線性變換得到一個(gè)輸出，而邏輯回歸的假設(shè)函數(shù)計(jì)算的是對(duì)于給定輸入，其輸出y=1的概率，但邏輯回歸與線性回歸在計(jì)算形式上很相似，常常讓誤解為他們僅僅是假設(shè)函數(shù)的不同。

　　假設(shè)函數(shù)

　　其中\(zhòng)(x_0=1\) 、\(g(z)=\frac{1}{1+\exp^{-z}}\)

　　損失函數(shù)

　　這里的損失函數(shù)不再是線性回歸時(shí)的求誤差平方和，因?yàn)檎`差平方和不是參數(shù)$\theta$的凸函數(shù)，不容易求解全局最優(yōu)解，因此該用極大釋然估計(jì)作為損失函數(shù)，能滿足凸函數(shù)的要求。

　　\(C(\theta)=-\frac{1}{m}[\sum_{i=1}^my^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]\)

　　優(yōu)化目標(biāo)

　　\(min_\theta(C(\theta))\)

　　優(yōu)化實(shí)現(xiàn)

　　使用梯度下降法，不斷地進(jìn)行迭代，每一步的方向是負(fù)梯度方向：

　　\(\theta_j=\theta_j-\alpha\frac{\partial }{\partial \theta_j}Cost(\theta)=\theta_j-\alpha\frac{1}{m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}\)

　　注意到，在優(yōu)化實(shí)現(xiàn)上，邏輯回歸與線性回歸的形式一樣的，只是具體的假設(shè)函數(shù)不同。實(shí)際上，這只是一個(gè)巧合，巧合之處在于，對(duì)各自的損失函數(shù)求偏導(dǎo)數(shù)后，其梯度值恰好是假設(shè)函數(shù)與y的表達(dá)式，但線性回歸與邏輯回歸的本質(zhì)是不同的。

　　3.BP神經(jīng)網(wǎng)絡(luò)

　　這篇文章已經(jīng)介紹了BP神經(jīng)網(wǎng)絡(luò)，這里只是從模型、策略、算法這三個(gè)層面來總結(jié)一下BP，模型就是指假設(shè)函數(shù)，策略則指優(yōu)化目標(biāo)，算法即指優(yōu)化實(shí)現(xiàn)。

　　假設(shè)函數(shù)

　　神經(jīng)網(wǎng)絡(luò)的假設(shè)函數(shù)不是一個(gè)簡(jiǎn)單的公式，它是多個(gè)邏輯回歸函數(shù)逐層迭代的結(jié)果，形式上可以寫成如下：

　　\(a^{(1)}=x\)

　　\(a^{(2)}=g(W^{(1)}a^{(1)})\)

　　\(a^{(i)}=g(W^{(i-1)}a^{(i-1)})\)

　　….

　　\(a^{(L)}=g(W^{(L-1)}a^{(L-1)})\)

　　\(h_W(x)=a^{(L)}\)

　　其中\(zhòng)(L\)表示神經(jīng)網(wǎng)絡(luò)的層數(shù)，\(g(z)=\frac{1}{1+\exp^{-z}}\)，\(W^{(i-1)}\)表示第i-1層與第i層單元的權(quán)值矩陣，并且把偏置\(\theta^{(i)}\)放在了權(quán)值矩陣\(W^{(i-1)}\)中

　　損失函數(shù)

　　神經(jīng)網(wǎng)絡(luò)的損失函數(shù)跟邏輯回歸非常類似，但是神經(jīng)網(wǎng)絡(luò)的輸出單元可能有多個(gè)，需要在每個(gè)輸出單元上做一個(gè)累加：

　　\(Cost(W)=-\frac{1}{m}[\sum_{i=1}^m\sum_{k=1}^Ky_k^{(i)}log(h_\theta(x^{(i)}))_k+(1-y^{(i)}_k)log(1-h_\theta(x^{(i)}))_k]\)

　　其中K表示輸出層神經(jīng)單元的個(gè)數(shù)，m表示訓(xùn)練數(shù)據(jù)實(shí)例個(gè)數(shù)。

　　優(yōu)化目標(biāo)

　　各個(gè)算法的優(yōu)化目標(biāo)基本上都是尋求適當(dāng)?shù)膮?shù)，使得損失函數(shù)最小。

　　\(min_W(C(\theta))\)

　　優(yōu)化實(shí)現(xiàn)

　　BP神經(jīng)網(wǎng)絡(luò)，利用反向傳播，逐層采樣梯度下降。

　　4.k近鄰

　　損失函數(shù)

　　knn損失函數(shù)為0-1損失函數(shù)，假設(shè)給定一個(gè)實(shí)例x，其K個(gè)最近鄰訓(xùn)練實(shí)例點(diǎn)構(gòu)成的集合是\(N_k(x)\)：

　　\(cost(f)=\frac {1}{k}\sum_{x_i\in N_k(x)}I(y_i\ne c_j)=1-\frac {1}{k}\sum_{x_i\in N_k}(x)I(y_i=c_j)\)

　　優(yōu)化目標(biāo)

　　機(jī)器學(xué)習(xí)方法匯總二

　　學(xué)習(xí)方式

　　根據(jù)數(shù)據(jù)類型的不同，對(duì)一個(gè)問題的建模有不同的方式。在機(jī)器學(xué)習(xí)或者人工智能領(lǐng)域，人們首先會(huì)考慮算法的學(xué)習(xí)方式。在機(jī)器學(xué)習(xí)領(lǐng)域，有幾種主要的學(xué)習(xí)方式。將算法按照學(xué)習(xí)方式分類是一個(gè)不錯(cuò)的想法，這樣可以讓人們?cè)诮：退惴ㄟx擇的時(shí)候考慮能根據(jù)輸入數(shù)據(jù)來選擇最合適的算法來獲得最好的結(jié)果。

　　監(jiān)督式學(xué)習(xí)：

　　在監(jiān)督式學(xué)習(xí)下，輸入數(shù)據(jù)被稱為“訓(xùn)練數(shù)據(jù)”，每組訓(xùn)練數(shù)據(jù)有一個(gè)明確的標(biāo)識(shí)或結(jié)果，如對(duì)防垃圾郵件系統(tǒng)中“垃圾郵件”“非垃圾郵件”，對(duì)手寫數(shù)字識(shí)別中的“1“，”2“，”3“，”4“等。在建立預(yù)測(cè)模型的時(shí)候，監(jiān)督式學(xué)習(xí)建立一個(gè)學(xué)習(xí)過程，將預(yù)測(cè)結(jié)果與“訓(xùn)練數(shù)據(jù)”的實(shí)際結(jié)果進(jìn)行比較，不斷的調(diào)整預(yù)測(cè)模型，直到模型的預(yù)測(cè)結(jié)果達(dá)到一個(gè)預(yù)期的準(zhǔn)確率。監(jiān)督式學(xué)習(xí)的常見應(yīng)用場(chǎng)景如分類問題和回歸問題。常見算法有邏輯回歸(Logistic Regression)和反向傳遞神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network)

　　非監(jiān)督式學(xué)習(xí)：

　　在非監(jiān)督式學(xué)習(xí)中，數(shù)據(jù)并不被特別標(biāo)識(shí)，學(xué)習(xí)模型是為了推斷出數(shù)據(jù)的一些內(nèi)在結(jié)構(gòu)。常見的應(yīng)用場(chǎng)景包括關(guān)聯(lián)規(guī)則的學(xué)習(xí)以及聚類等。常見算法包括Apriori算法以及k-Means算法。

　　半監(jiān)督式學(xué)習(xí)：

　　在此學(xué)習(xí)方式下，輸入數(shù)據(jù)部分被標(biāo)識(shí)，部分沒有被標(biāo)識(shí)，這種學(xué)習(xí)模型可以用來進(jìn)行預(yù)測(cè)，但是模型首先需要學(xué)習(xí)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)以便合理的組織數(shù)據(jù)來進(jìn)行預(yù)測(cè)。應(yīng)用場(chǎng)景包括分類和回歸，算法包括一些對(duì)常用監(jiān)督式學(xué)習(xí)算法的延伸，這些算法首先試圖對(duì)未標(biāo)識(shí)數(shù)據(jù)進(jìn)行建模，在此基礎(chǔ)上再對(duì)標(biāo)識(shí)的數(shù)據(jù)進(jìn)行預(yù)測(cè)。如圖論推理算法(Graph Inference)或者拉普拉斯支持向量機(jī)(Laplacian SVM.)等。

　　強(qiáng)化學(xué)習(xí)：

　　在這種學(xué)習(xí)模式下，輸入數(shù)據(jù)作為對(duì)模型的反饋，不像監(jiān)督模型那樣，輸入數(shù)據(jù)僅僅是作為一個(gè)檢查模型對(duì)錯(cuò)的方式，在強(qiáng)化學(xué)習(xí)下，輸入數(shù)據(jù)直接反饋到模型，模型必須對(duì)此立刻作出調(diào)整。常見的應(yīng)用場(chǎng)景包括動(dòng)態(tài)系統(tǒng)以及機(jī)器人控制等。常見算法包括Q-Learning以及時(shí)間差學(xué)習(xí)(Temporal difference learning)

　　在企業(yè)數(shù)據(jù)應(yīng)用的場(chǎng)景下， 人們最常用的可能就是監(jiān)督式學(xué)習(xí)和非監(jiān)督式學(xué)習(xí)的模型。 在圖像識(shí)別等領(lǐng)域，由于存在大量的非標(biāo)識(shí)的數(shù)據(jù)和少量的可標(biāo)識(shí)數(shù)據(jù)， 目前半監(jiān)督式學(xué)習(xí)是一個(gè)很熱的話題。 而強(qiáng)化學(xué)習(xí)更多的應(yīng)用在機(jī)器人控制及其他需要進(jìn)行系統(tǒng)控制的領(lǐng)域。

　　算法類似性

　　根據(jù)算法的功能和形式的類似性，我們可以把算法分類，比如說基于樹的算法，基于神經(jīng)網(wǎng)絡(luò)的算法等等。當(dāng)然，機(jī)器學(xué)習(xí)的范圍非常龐大，有些算法很難明確歸類到某一類。而對(duì)于有些分類來說，同一分類的算法可以針對(duì)不同類型的問題。這里，我們盡量把常用的算法按照最容易理解的方式進(jìn)行分類。

　　回歸算法：

　　回歸算法是試圖采用對(duì)誤差的衡量來探索變量之間的關(guān)系的一類算法。回歸算法是統(tǒng)計(jì)機(jī)器學(xué)習(xí)的利器。在機(jī)器學(xué)習(xí)領(lǐng)域，人們說起回歸，有時(shí)候是指一類問題，有時(shí)候是指一類算法，這一點(diǎn)常常會(huì)使初學(xué)者有所困惑。常見的回歸算法包括：最小二乘法(Ordinary Least Square)，邏輯回歸(Logistic Regression)，逐步式回歸(Stepwise Regression)，多元自適應(yīng)回歸樣條(Multivariate Adaptive Regression Splines)以及本地散點(diǎn)平滑估計(jì)(Locally Estimated Scatterplot Smoothing)

　　基于實(shí)例的算法

　　基于實(shí)例的算法常常用來對(duì)決策問題建立模型，這樣的模型常常先選取一批樣本數(shù)據(jù)，然后根據(jù)某些近似性把新數(shù)據(jù)與樣本數(shù)據(jù)進(jìn)行比較。通過這種方式來尋找最佳的匹配。因此，基于實(shí)例的算法常常也被稱為“贏家通吃”學(xué)習(xí)或者“基于記憶的學(xué)習(xí)”。常見的算法包括 k-Nearest Neighbor(KNN), 學(xué)習(xí)矢量量化(Learning Vector Quantization， LVQ)，以及自組織映射算法(Self-Organizing Map ， SOM)

　　正則化方法

　　正則化方法是其他算法(通常是回歸算法)的延伸，根據(jù)算法的復(fù)雜度對(duì)算法進(jìn)行調(diào)整。正則化方法通常對(duì)簡(jiǎn)單模型予以獎(jiǎng)勵(lì)而對(duì)復(fù)雜算法予以懲罰。常見的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator(LASSO)，以及彈性網(wǎng)絡(luò)(Elastic Net)。

　　決策樹學(xué)習(xí)

　　決策樹算法根據(jù)數(shù)據(jù)的屬性采用樹狀結(jié)構(gòu)建立決策模型， 決策樹模型常常用來解決分類和回歸問題。常見的算法包括：分類及回歸樹(Classification And Regression Tree， CART)， ID3 (Iterative Dichotomiser 3)， C4.5， Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 隨機(jī)森林(Random Forest)， 多元自適應(yīng)回歸樣條(MARS)以及梯度推進(jìn)機(jī)(Gradient Boosting Machine， GBM)

　　貝葉斯方法

　　貝葉斯方法算法是基于貝葉斯定理的一類算法，主要用來解決分類和回歸問題。常見算法包括：樸素貝葉斯算法，平均單依賴估計(jì)(Averaged One-Dependence Estimators， AODE)，以及Bayesian Belief Network(BBN)。

　　基于核的算法

　　基于核的算法中最著名的莫過于支持向量機(jī)(SVM)了。 基于核的算法把輸入數(shù)據(jù)映射到一個(gè)高階的向量空間， 在這些高階向量空間里， 有些分類或者回歸問題能夠更容易的解決。 常見的基于核的算法包括：支持向量機(jī)(Support Vector Machine， SVM)， 徑向基函數(shù)(Radial Basis Function ，RBF)， 以及線性判別分析(Linear Discriminate Analysis ，LDA)等

　　聚類算法

　　聚類，就像回歸一樣，有時(shí)候人們描述的是一類問題，有時(shí)候描述的是一類算法。聚類算法通常按照中心點(diǎn)或者分層的方式對(duì)輸入數(shù)據(jù)進(jìn)行歸并。所以的聚類算法都試圖找到數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，以便按照最大的共同點(diǎn)將數(shù)據(jù)進(jìn)行歸類。常見的聚類算法包括 k-Means算法以及期望最大化算法(Expectation Maximization， EM)。

　　關(guān)聯(lián)規(guī)則學(xué)習(xí)

　　關(guān)聯(lián)規(guī)則學(xué)習(xí)通過尋找最能夠解釋數(shù)據(jù)變量之間關(guān)系的規(guī)則，來找出大量多元數(shù)據(jù)集中有用的關(guān)聯(lián)規(guī)則。常見算法包括 Apriori算法和Eclat算法等。

　　人工神經(jīng)網(wǎng)絡(luò)

　　人工神經(jīng)網(wǎng)絡(luò)算法模擬生物神經(jīng)網(wǎng)絡(luò)，是一類模式匹配算法。通常用于解決分類和回歸問題。人工神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)的一個(gè)龐大的分支，有幾百種不同的算法。(其中深度學(xué)習(xí)就是其中的一類算法，我們會(huì)單獨(dú)討論)，重要的人工神經(jīng)網(wǎng)絡(luò)算法包括：感知器神經(jīng)網(wǎng)絡(luò)(Perceptron Neural Network), 反向傳遞(Back Propagation)， Hopfield網(wǎng)絡(luò)，自組織映射(Self-Organizing Map, SOM)。學(xué)習(xí)矢量量化(Learning Vector Quantization， LVQ)

　　深度學(xué)習(xí)

　　深度學(xué)習(xí)算法是對(duì)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展。 在近期贏得了很多關(guān)注， 特別是百度也開始發(fā)力深度學(xué)習(xí)后， 更是在國內(nèi)引起了很多關(guān)注。 在計(jì)算能力變得日益廉價(jià)的今天，深度學(xué)習(xí)試圖建立大得多也復(fù)雜得多的神經(jīng)網(wǎng)絡(luò)。很多深度學(xué)習(xí)的算法是半監(jiān)督式學(xué)習(xí)算法，用來處理存在少量未標(biāo)識(shí)數(shù)據(jù)的大數(shù)據(jù)集。常見的深度學(xué)習(xí)算法包括：受限波爾茲曼機(jī)(Restricted Boltzmann Machine， RBN)， Deep Belief Networks(DBN)，卷積網(wǎng)絡(luò)(Convolutional Network), 堆棧式自動(dòng)編碼器(Stacked Auto-encoders)。

　　降低維度算法

　　像聚類算法一樣，降低維度算法試圖分析數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，不過降低維度算法是以非監(jiān)督學(xué)習(xí)的方式試圖利用較少的信息來歸納或者解釋數(shù)據(jù)。這類算法可以用于高維數(shù)據(jù)的可視化或者用來簡(jiǎn)化數(shù)據(jù)以便監(jiān)督式學(xué)習(xí)使用。常見的算法包括：主成份分析(Principle Component Analysis， PCA)，偏最小二乘回歸(Partial Least Square Regression，PLS)， Sammon映射，多維尺度(Multi-Dimensional Scaling, MDS), 投影追蹤(Projection Pursuit)等。

　　集成算法：

　　集成算法用一些相對(duì)較弱的學(xué)習(xí)模型獨(dú)立地就同樣的樣本進(jìn)行訓(xùn)練，然后把結(jié)果整合起來進(jìn)行整體預(yù)測(cè)。集成算法的主要難點(diǎn)在于究竟集成哪些獨(dú)立的較弱的學(xué)習(xí)模型以及如何把學(xué)習(xí)結(jié)果整合起來。這是一類非常強(qiáng)大的算法，同時(shí)也非常流行。常見的算法包括：Boosting， Bootstrapped Aggregation(Bagging)， AdaBoost，堆疊泛化(Stacked Generalization， Blending)，梯度推進(jìn)機(jī)(Gradient Boosting Machine, GBM)，隨機(jī)森林(Random Forest)。