一、多層感知機簡介

Softmax回歸可以算是多分類問題logistic回歸，它和神經網絡的最大區別是沒有隱含層。理論上只要隱含節點足夠多，即時只有一個隱含層的神經網絡也可以擬合任意函數，同時隱含層越多，越容易擬合復雜結構。為了擬合復雜函數需要的隱含節點的數目，基本上隨著隱含層的數量增多呈指數下降的趨勢，也就是說層數越多，神經網絡所需要的隱含節點可以越少。層數越深，概念越抽象，需要背誦的知識點就越少。在實際應用中，深層神經網絡會遇到許多困難，如過擬合、參數調試、梯度彌散等。

過擬合是機器學習中的一個常見問題，是指模型預測準確率在訓練集上升高，但是在測試集上的準確率反而下降，這通常意味著模型的泛化能力不好，過度擬合了訓練集。針對這個問題，Hinton教授團隊提出了Dropout的解決辦法，在使用CNN訓練圖像數據時效果尤其有效，其大體思路是在訓練時將神經網絡某一層的輸出節點數據隨機丟失一部分。這種做法實質上等于創造出了許多新的隨機樣本，通過增大樣本量、減少特征數量來防止過擬合。

參數調試問題尤其是SGD（StochasticGradient Descent）的參數，對SGD設置不同的學習率learning rate，最后得到的結果可能差異巨大。神經網絡的優化通常不是一個簡單的凸優化問題，它處處充滿了局部最優。有理論表示，神經網絡可能有很多個局部最優解都可以達到比較好的分類效果，而全局最優很可能造成過擬合。對SGD，我們希望一開始學習率大一些，加速收斂，在訓練的后期又希望學習率小一些，這樣可以低速進入一個局部最優解。不同的機器學習問題的學習率設置也需要針對性的調試，像Adagrad、Adam、Adadelta等自適應的方法可以減輕調試參數的負擔。對于這些優化算法，通常我們使用其默認的參數設置就可以得到比較好的效果。

梯度彌散（Gradient Vanishment）是另一個影響深層神經網絡訓練的問題，在ReLU激活函數出現之前，神經網絡訓練是使用Sigmoid作為激活函數。非線性的Sigmoid函數在信號的特征空間映射上，對中央區的信號增益較大，對兩側區的信號增益小。當神經網絡層數較多時，Sigmoid函數在反向傳播中梯度值會逐漸減小，到達前面幾層的梯度值就變得非常小了，在神經網絡訓練的時候，前面幾層的神經網絡參數幾乎得不到訓練更新。指導ReLU，y = max(0, x)，的出現才比較完美的解決了梯度彌散的問題。信號在超過某個閾值時，神經元才會進入興奮和激活的狀態，否則會處于抑制狀態。ReLU可以很好的反向傳遞梯度，經過多層的梯度反向傳播，梯度依舊不會大幅減小，因此非常適合深層神經網絡的訓練。ReLU對比于Sigmoid的主要特點有以下幾點：（1）單側抑制；（2）相對寬闊的興奮邊界；（3）稀疏激活性。目前，ReLU及其變種EIU、PReLU、RReLU已經成為最主流的激活函數。實踐中大部分情況下（包括MLP、CNN、RNN）將隱含層的激活函數從Sigmoid替換為ReLU都可以帶來訓練速度和模型準確率的提升。當然神經網絡的輸出層一般都是Sigmoid函數，因為它最接近概率輸出分布。