將偏置節(jié)點(diǎn)合并到您的神經(jīng)網(wǎng)絡(luò)中

偏置節(jié)點(diǎn)可以添加到感知器的輸入層或隱藏層，產(chǎn)生一個(gè)由設(shè)計(jì)者選擇的常數(shù)值。

我們在第 11 部分討論了偏置值，如果您不清楚偏置節(jié)點(diǎn)是什么或它們?nèi)绾涡薷牟⒖赡茉鰪?qiáng)神經(jīng)網(wǎng)絡(luò)的功能，我鼓勵(lì)您閱讀（或重新閱讀）該文章的相關(guān)部分。

在這篇文章中，我將首先解釋兩種將偏置值合并到您的網(wǎng)絡(luò)架構(gòu)中的方法，然后我們將進(jìn)行實(shí)驗(yàn)，看看偏置值是否可以提高我們在上一篇文章（第 16 部分）中獲得的精度性能。

 

通過電子表格合并偏差

下圖描繪了一個(gè)網(wǎng)絡(luò)，該網(wǎng)絡(luò)在輸入層中有一個(gè)偏置節(jié)點(diǎn)，但在隱藏層中沒有。

 

 

如果這是您正在尋找的配置，您可以使用包含訓(xùn)練或驗(yàn)證數(shù)據(jù)的電子表格添加偏差值。

這種方法的優(yōu)點(diǎn)很簡單，不需要大量的代碼修改。步是在您的電子表格中插入一列并用您的偏差值填充它：

 

 

現(xiàn)在，您需要做的就是將輸入層維度增加一個(gè)：

 

 

將偏見整合到代碼中

如果您想要隱藏層中的偏置節(jié)點(diǎn)，或者如果您不喜歡使用電子表格，您將需要不同的解決方案。

假設(shè)我們要向輸入層和隱藏層都添加一個(gè)偏置節(jié)點(diǎn)。首先，我們需要增加I_dim和H_dim，因?yàn)槲覀兊哪繕?biāo)是集成偏置節(jié)點(diǎn)，使它們像普通節(jié)點(diǎn)一樣運(yùn)行，但具有由設(shè)計(jì)人員選擇且永遠(yuǎn)不會改變的預(yù)加權(quán)值。

我將按如下方式完成此操作：

 

 

創(chuàng)建輸入層偏置節(jié)點(diǎn)

您可能還記得，我們使用以下代碼組裝訓(xùn)練數(shù)據(jù)集，分離目標(biāo)輸出值，并提取訓(xùn)練樣本的數(shù)量。

 

 

在這些語句之后，二維數(shù)組training_data中的列數(shù)將等于電子表格中的輸入列數(shù)。我們需要將列數(shù)增加一，以說明輸入層中的偏置節(jié)點(diǎn)，同時(shí)我們可以用所需的偏置值填充此附加列。

下面的代碼顯示了如何做到這一點(diǎn)。

 

 

np.ones ()函數(shù)創(chuàng)建一個(gè)單列數(shù)組，其行數(shù)等于training_count，并將值 +1 分配給該數(shù)組中的每個(gè)元素。然后我們使用np.hstack()函數(shù)將單列數(shù)組添加到原始training_data數(shù)組的右側(cè)。

請注意，我已對訓(xùn)練數(shù)據(jù)和驗(yàn)證數(shù)據(jù)執(zhí)行了此過程。重要的是要記住，目標(biāo)實(shí)際上并不是修改訓(xùn)練或驗(yàn)證數(shù)據(jù)；相反，我們正在修改數(shù)據(jù)作為實(shí)現(xiàn)所需網(wǎng)絡(luò)配置的一種方式。

當(dāng)我們查看感知器的框圖時(shí)，偏置節(jié)點(diǎn)顯示為網(wǎng)絡(luò)本身的元素；因此，網(wǎng)絡(luò)處理的任何樣本都必須經(jīng)過這種修改。

 

創(chuàng)建隱藏層偏置節(jié)點(diǎn)

我們可以通過修改計(jì)算隱藏層后激活值的 for 循環(huán)，然后手動(dòng)插入一個(gè)隱藏節(jié)點(diǎn)（實(shí)際上是一個(gè)偏置節(jié)點(diǎn)）的偏置值，將偏置添加到前饋處理中。

次修改如下圖：

 

 

如果網(wǎng)絡(luò)配置為沒有隱藏層偏置節(jié)點(diǎn)，則hidden_bias等于 0，for 循環(huán)的執(zhí)行不變。

另一方面，如果我們決定包含一個(gè)隱藏層偏置節(jié)點(diǎn)，則 for 循環(huán)將不會計(jì)算層中終節(jié)點(diǎn)（即偏置節(jié)點(diǎn)）的激活后值。

下一步是增加節(jié)點(diǎn)變量，以便它訪問postActivation_H數(shù)組中的偏置節(jié)點(diǎn)，然后分配偏置值。

 

 

請注意，這些修改也必須應(yīng)用于代碼的驗(yàn)證部分。

 

+1 以外的偏差值

根據(jù)我的經(jīng)驗(yàn)，+1 是標(biāo)準(zhǔn)偏差值，我不知道是否有充分的理由使用其他數(shù)字。偏差由權(quán)重修改，因此選擇 +1 不會嚴(yán)格限制偏差如何與網(wǎng)絡(luò)的整體功能交互。

但是，如果您想嘗試其他偏差值，則可以輕松實(shí)現(xiàn)。對于隱藏的偏差，您只需更改分配給postActivation_H[node]的數(shù)字。對于輸入偏差，您可以將new_column數(shù)組（每個(gè)元素初都為 +1）乘以所需的偏差值。

 

測試偏差的影響

如果你讀過第 16 部分，你就會知道我的感知器在對實(shí)驗(yàn) 3 中的樣本進(jìn)行分類時(shí)遇到了一些困難，這是“高復(fù)雜度”的問題。

讓我們看看添加一個(gè)或多個(gè)偏置節(jié)點(diǎn)是否提供一致且顯著的改進(jìn)。

我的假設(shè)是分類準(zhǔn)確度的差異相當(dāng)微妙，因此對于這個(gè)實(shí)驗(yàn)，我平均運(yùn)行 10 次而不是 5 次。訓(xùn)練和驗(yàn)證數(shù)據(jù)集是使用輸入和輸出之間相同的高復(fù)雜度關(guān)系生成的，隱藏層維度為 7。

以下是結(jié)果：

 

 

結(jié)論

如您所見，偏置節(jié)點(diǎn)并未導(dǎo)致分類性能發(fā)生任何顯著變化。

這實(shí)際上并不讓我吃驚——我認(rèn)為偏置節(jié)點(diǎn)有時(shí)有點(diǎn)過分強(qiáng)調(diào)，并且考慮到我在這個(gè)實(shí)驗(yàn)中使用的輸入數(shù)據(jù)的性質(zhì)，我看不出偏置節(jié)點(diǎn)有什么幫助。

盡管如此，偏置在某些應(yīng)用中是一項(xiàng)重要的技術(shù)；編寫支持偏置節(jié)點(diǎn)功能的代碼是個(gè)好主意，這樣當(dāng)您需要它時(shí)它就在那里。