在1943年，沃倫麥卡洛可與沃爾特皮茨提出了第一個(gè)腦神經(jīng)元的抽象模型，簡稱麥卡洛可-皮茨神經(jīng)元（McCullock-Pitts neuron）簡稱MCP，大腦神經(jīng)元的結(jié)構(gòu)如下圖。麥卡洛可和皮茨將神經(jīng)細(xì)胞描述為一個(gè)具備二進(jìn)制輸出的邏輯門。樹突接收多個(gè)輸入信號(hào)，當(dāng)輸入信號(hào)累加超過一定的值（閾值），就會(huì)產(chǎn)生一個(gè)輸出信號(hào)。弗蘭克羅森布拉特基于MCP神經(jīng)元提出了第一個(gè)感知器學(xué)習(xí)算法，同時(shí)它還提出了一個(gè)自學(xué)習(xí)算法，此算法可以通過對(duì)輸入信號(hào)和輸出信號(hào)的學(xué)習(xí)，自動(dòng)的獲取到權(quán)重系數(shù)，通過輸入信號(hào)與權(quán)重系數(shù)的乘積來判斷神經(jīng)元是否被激活（產(chǎn)生輸出信號(hào)）。

一、感知器算法

我們將輸入信號(hào)定義為一個(gè)x向量，x=(x1,x2,x3..)，將權(quán)重定義為ω=(ω1,ω2,ω3...)其中ω0的值為，將z定義為為兩個(gè)向量之間的乘積，所以輸出z=x1*ω1 + x2*ω2+....，然后將z通過激勵(lì)（激活）函數(shù)，作為真正的輸出。其中激活函數(shù)是一個(gè)分段函數(shù)，下圖是一個(gè)階躍函數(shù)，當(dāng)輸入信號(hào)大于0的時(shí)候輸出為1，小于0的時(shí)候輸出為0，這里的階躍函數(shù)閾值設(shè)置為0了。定義激活函數(shù)為Φ(z)，給激活函數(shù)Φ(z)設(shè)定一個(gè)閾值θ，當(dāng)激活函數(shù)的輸出大于閾值θ的時(shí)候，將輸出劃分為正類(1)，小于閾值θ的時(shí)候?qū)⑤敵鰟澐譃樨?fù)類(-1)。如果，將閾值θ移到等式的左邊z=x1*ω1+x2*ω2+....+θ,我們可以將θ看作為θ=x0*ω0，其中輸出x0為1，ω0為-θ。將閾值θ移到等式的左邊之后，就相當(dāng)于激活函數(shù)的閾值由原來的θ變成了0。

感知器算法的工作過程：

1、將權(quán)重ω初始化為零或一個(gè)極小的隨機(jī)數(shù)。

2、迭代所有的訓(xùn)練樣本（已知輸入和輸出），執(zhí)行如下操作：

a、通過權(quán)重和已知的輸入計(jì)算輸出

b、通過a中的輸出與已知輸入的輸出來更新權(quán)重

權(quán)重的更新過程，如上圖的公式，其中ω與x都是相對(duì)應(yīng)的（當(dāng)ω為ω0的時(shí)候，x為1），η為學(xué)習(xí)率介于0到1之間的常數(shù)，其中y為輸入所對(duì)應(yīng)的輸出，后面的y（打不出來）為a中所計(jì)算出來的輸出。通過迭代對(duì)權(quán)重的更新，當(dāng)遇到類標(biāo)預(yù)測錯(cuò)誤的情況下，權(quán)重的值會(huì)趨于正類別和負(fù)類別的方向。

第一個(gè)公式表示的是，當(dāng)真實(shí)的輸出為1的情況下，而預(yù)測值為-1，所以我們就需要增加權(quán)重來使得預(yù)測值往1靠近。

第二個(gè)公式表示的是，當(dāng)真實(shí)的輸出為-1的情況下，而預(yù)測值為1，所以我們就需要減少權(quán)重來使得預(yù)測值往-1靠近。