圖1:一個生物學(xué)的神經(jīng)原
從圖1中你可以看出,神經(jīng)原由一個內(nèi)核細(xì)胞和幾個長長的稱為觸角的連接器組成。神經(jīng)原之間依靠這些觸角進(jìn)行連接。無論是生物學(xué)的還是人工的神經(jīng)網(wǎng)絡(luò),都通過觸角把信號從一個神經(jīng)原傳遞到另一個神經(jīng)原來工作。
練習(xí)神經(jīng)網(wǎng)絡(luò)
為實(shí)現(xiàn)本文的目的,我們將指導(dǎo)JOONE去識別一個很簡單的模式。在這種模式中,我們將考察一個二進(jìn)制的布爾操作,例如XOR。這個XOR操作的真值表列舉如下:
正如你從上表中看到的,XOR運(yùn)算的結(jié)果是只有當(dāng)X和Y具有不同值時,結(jié)果才為真(1)。其它情況下,XOR運(yùn)算結(jié)果均為假(0)。默認(rèn)地,JOONE從存儲在你的系統(tǒng)中的文本文件中取得輸入。這些文本文件通過使用一種稱為FileInputSynapse的非凡觸角來讀取。為了練習(xí)XOR運(yùn)算問題,你必須建立一個輸入文件-該文件包含上面顯示的數(shù)據(jù)。該文件顯示在列表1中。
列表1:為解決XOR問題的輸入文件的內(nèi)容
0.0;0.0;0.0
0.0;1.0;1.0
1.0;0.0;1.0
1.0;1.0;0.0
我們現(xiàn)在分析一個簡單的程序,它指導(dǎo)JOONE來識別XOR運(yùn)算并產(chǎn)生正確的結(jié)果。我們現(xiàn)在分析練習(xí)該神經(jīng)網(wǎng)絡(luò)必須被處理的過程。練習(xí)過程包括把XOR問題提交給神經(jīng)網(wǎng)絡(luò),然后觀察結(jié)果。假如這個結(jié)果不是所預(yù)期的,該練習(xí)算法將調(diào)整存儲在觸角中的重量。在神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出和預(yù)料的輸出之間的差距稱為誤差。練習(xí)將繼續(xù)到誤差小于一個可接受值為止。這個級別通常是一個百分?jǐn)?shù),如10%。我們現(xiàn)在分析必須用于練習(xí)一個神經(jīng)網(wǎng)絡(luò)的代碼。
練習(xí)過程通過建立神經(jīng)網(wǎng)絡(luò)開始,同時也必須創(chuàng)建隱蔽的輸入層和輸出層。// 首先,創(chuàng)造這三個層
input = new SigmoidLayer();
hidden = new SigmoidLayer();
output = new SigmoidLayer();
每個層被使用JOONE對象SigmoidLayer創(chuàng)建。Sigmoidlayer基于自然對數(shù)生成一個輸出。JOONE還包含另外的層,而不是你可能選擇使用的S形的層類型。
下一步,每一層被賦于一個名字。這些名字將有助于后面在調(diào)試期間識別該層。input.setLayerName("input");
hidden.setLayerName("hidden");
output.setLayerName("output");
現(xiàn)在必須定義每個層。我們將指定在每一層中的"行"號。該"行"號對應(yīng)于這一層中的神經(jīng)原的數(shù)目。input.setRows(2);
hidden.setRows(3);
output.setRows(1);
從上面的代碼看出,輸入層有兩個神經(jīng)原,隱蔽層有三個隱蔽神經(jīng)原,輸出層包含一個神經(jīng)原。這對于神經(jīng)網(wǎng)絡(luò)包含兩個輸入神經(jīng)原和一個輸出神經(jīng)原是具有重要意義的,因?yàn)閄OR運(yùn)算符接收兩個參數(shù)而產(chǎn)生一個結(jié)果。
為使用該神經(jīng)原層,我們也必須創(chuàng)建觸角。在本例中,我們要使用多個觸角。這些觸角用下面的代碼實(shí)現(xiàn)。// 輸入-> 隱蔽的連接。
FullSynapse synapse_IH = new FullSynapse();
// 隱蔽-> 輸出連接。
FullSynapse synapse_HO = new FullSynapse();
就象神經(jīng)原層的情況一樣,觸角也可能命名以有助于程序的調(diào)試。下面的代碼命名新建的觸角。synapse_IH.setName("IH");
synapse_HO.setName("HO");
最后,我們必須把觸角聯(lián)接到適當(dāng)神經(jīng)原層。下面的代碼實(shí)現(xiàn)這一點(diǎn)。// 聯(lián)接輸入層到隱蔽層
input.addOutputSynapse(synapse_IH);
hidden.addInputSynapse(synapse_IH);
// 聯(lián)接隱蔽層到輸出層
hidden.addOutputSynapse(synapse_HO);
output.addInputSynapse(synapse_HO);
現(xiàn)在既然神經(jīng)網(wǎng)絡(luò)已被創(chuàng)建,我們必須創(chuàng)建一個用于調(diào)節(jié)該神經(jīng)網(wǎng)絡(luò)的監(jiān)視器對象。下面的代碼創(chuàng)建監(jiān)視器對象。//創(chuàng)建監(jiān)視器對象并且設(shè)置學(xué)習(xí)參數(shù)
monitor = new Monitor();
monitor.setLearningRate(0.8);
monitor.setMomentum(0.3);
學(xué)習(xí)速度和動力作為參數(shù)以用于指定練習(xí)的產(chǎn)生方式。JOONE利用backPRopagation學(xué)習(xí)算法。要更多了解關(guān)于學(xué)習(xí)速度或者動力的信息,你應(yīng)該參考backpropagation算法。
這個監(jiān)視器對象應(yīng)該被賦值給每一個神經(jīng)原層。下面的代碼實(shí)現(xiàn)這一點(diǎn)。input.setMonitor(monitor);
hidden.setMonitor(monitor);
output.setMonitor(monitor);
就象許多Java對象本身一樣,JOONE監(jiān)視器答應(yīng)聽者可以添加到它上面去。隨著練習(xí)的進(jìn)行,JOONE將通知聽者有關(guān)練習(xí)進(jìn)程的信息。在這個簡單的例子中,我們使用:monitor.addNeuralNetListener(this);
我們現(xiàn)在必須建立輸入觸角。如前所述,我們將使用一個FileInputSynapse來讀取一個磁盤文件。磁盤文件不是JOONE唯一能夠接受的輸入種類。JOONE對于不同的輸入源具有很強(qiáng)的靈活性。為使JOONE能夠接收其它輸入類型,你只需創(chuàng)建一個新的觸角來接受輸入。在本例中,我們將簡單地使用FileInputSynapse。FileInputSynapse首先被實(shí)例化。inputStream = new FileInputSynapse();
然后,必須通知FileInputSynapse要使用哪些列。列表1中顯示的文件使用了輸入數(shù)據(jù)的前兩列。下面代碼建立起前兩列用于輸入到神經(jīng)網(wǎng)絡(luò)。// 前兩列包含輸入值
inputStream.setFirstCol(1);
inputStream.setLastCol(2);
然后,我們必須提供輸入文件的名字,這個名字直接來源于用戶接口。然后,提供一個編輯控件用于收集輸入文件的名字。下面代碼為FileInputSynapse設(shè)置文件名。// 這是包含輸入數(shù)據(jù)的文件名
inputStream.setFileName(inputFile.getText());
如前所述,一個觸角僅是一個神經(jīng)原層之間的數(shù)據(jù)導(dǎo)管。FileInputSynapse正是這里的數(shù)據(jù)導(dǎo)管,通過它數(shù)據(jù)進(jìn)入到神經(jīng)網(wǎng)絡(luò)。為了更輕易實(shí)現(xiàn)這點(diǎn),我們必須要把FileInputSynapse加到神經(jīng)網(wǎng)絡(luò)的輸入層。這由下面一行實(shí)現(xiàn)。input.addInputSynapse(inputStream);
現(xiàn)在既然已經(jīng)建立起神經(jīng)網(wǎng)絡(luò),我們必須創(chuàng)建一個練習(xí)員和一個監(jiān)視器。練習(xí)員用于練習(xí)該神經(jīng)網(wǎng)絡(luò),因?yàn)樵摫O(jiān)視器通過一個事先設(shè)置好的練習(xí)重復(fù)數(shù)來運(yùn)行這個神經(jīng)網(wǎng)絡(luò)。對于每一次練習(xí)重復(fù),數(shù)據(jù)被提供到神經(jīng)網(wǎng)絡(luò),然后就可以觀察到結(jié)果。該神經(jīng)網(wǎng)絡(luò)的權(quán)重(存儲在穿梭在神經(jīng)原層之間的觸角連接中)將根據(jù)誤差作適當(dāng)調(diào)整。隨著練習(xí)的進(jìn)行,誤差級將下降。下列代碼建立練習(xí)員并把它依附到監(jiān)視器。 trainer = new TeachingSynapse();
trainer.setMonitor(monitor);
你會記得列表1中提供的輸入文件包含三個列。到目前為止,我們僅僅使用了第一、二列,它們指定了到神經(jīng)網(wǎng)絡(luò)的輸入。第三列包含當(dāng)提供給神經(jīng)網(wǎng)絡(luò)第一列中的數(shù)字時的期盼的輸出值。我們必須使得練習(xí)員能夠存取該列以便能確定誤差。該錯誤是神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出和期盼的輸出之間的差距。下列代碼創(chuàng)建另外一個FileInputSynapse并作好預(yù)備以讀取與前面相同的輸入文件。// 設(shè)置包含期望的響應(yīng)值的文件,這由FileInputSynapse來提供
samples = new FileInputSynapse();
samples.setFileName(inputFile.getText());
這時,我們想指向在第三列的FileInputSynapse。下列代碼實(shí)現(xiàn)了這一點(diǎn),然后讓練習(xí)員使用這個FileInputSynapse。//輸出值在文件中的第三列上
samples.setFirstCol(3);
samples.setLastCol(3);
trainer.setDesired(samples);
最后,練習(xí)員被連結(jié)到神經(jīng)網(wǎng)絡(luò)輸出層,這將使練習(xí)員接收神經(jīng)網(wǎng)絡(luò)的輸出。// 連接練習(xí)員到網(wǎng)絡(luò)的最后一層
output.addOutputSynapse(trainer);
我們現(xiàn)在已為所有的層預(yù)備好后臺線程,包括練習(xí)員。input.start();
hidden.start();
output.start();
trainer.start();
最后,我們?yōu)榫毩?xí)設(shè)置一些參數(shù)。我們指定在輸入文件中共有四行,而且想練習(xí)20,000個周期,而且還在不段學(xué)習(xí)。假如你設(shè)置學(xué)習(xí)參數(shù)為false,該神經(jīng)網(wǎng)絡(luò)將簡單地處理輸入并不進(jìn)行學(xué)習(xí)。我們將在下一節(jié)討論輸入處理。monitor.setPatterns(4);
monitor.setTotCicles(20000);
monitor.setLearning(true);
現(xiàn)在我們已經(jīng)為練習(xí)過程作好預(yù)備。調(diào)用監(jiān)視器的Go方法將在后臺啟動練習(xí)過程。monitor.Go();
神經(jīng)網(wǎng)絡(luò)現(xiàn)在將要被練習(xí)20,000個周期。當(dāng)神經(jīng)網(wǎng)絡(luò)練習(xí)完成,誤差層應(yīng)該在一個合理的低級別上。一般低于10%的誤差級是可接受的。
新聞熱點(diǎn)
疑難解答
圖片精選