包含人工神經網路實現python的詞條

本文目錄一覽：

• 1、如何用9行Python代碼編寫一個簡易神經網路
• 2、利用Python實現卷積神經網路的可視化
• 3、BP神經網路——Python簡單實現三層神經網路（Numpy）
• 4、Hopfield神經網路用python實現講解？

如何用9行Python代碼編寫一個簡易神經網路

學習人工智慧時，我給自己定了一個目標－－用Python寫一個簡單的神經網路。為了確保真得理解它，我要求自己不使用任何神經網路庫，從頭寫起。多虧了Andrew Trask寫得一篇精彩的博客，我做到了！下面貼出那九行代碼：

在這篇文章中，我將解釋我是如何做得，以便你可以寫出你自己的。我將會提供一個長點的但是更完美的源代碼。

首先，神經網路是什麼？人腦由幾千億由突觸相互連接的細胞（神經元）組成。突觸傳入足夠的興奮就會引起神經元的興奮。這個過程被稱為「思考」。

我們可以在計算機上寫一個神經網路來模擬這個過程。不需要在生物分子水平模擬人腦，只需模擬更高層級的規則。我們使用矩陣（二維數據表格）這一數學工具，並且為了簡單明了，只模擬一個有3個輸入和一個輸出的神經元。

我們將訓練神經元解決下面的問題。前四個例子被稱作訓練集。你發現規律了嗎？『？』是0還是1？

你可能發現了，輸出總是等於輸入中最左列的值。所以『？』應該是1。

訓練過程

但是如何使我們的神經元回答正確呢？賦予每個輸入一個權重，可以是一個正的或負的數字。擁有較大正（或負）權重的輸入將決定神經元的輸出。首先設置每個權重的初始值為一個隨機數字，然後開始訓練過程：

取一個訓練樣本的輸入，使用權重調整它們，通過一個特殊的公式計算神經元的輸出。

計算誤差，即神經元的輸出與訓練樣本中的期待輸出之間的差值。

根據誤差略微地調整權重。

重複這個過程1萬次。

最終權重將會變為符合訓練集的一個最優解。如果使用神經元考慮這種規律的一個新情形，它將會給出一個很棒的預測。

這個過程就是back propagation。

計算神經元輸出的公式

你可能會想，計算神經元輸出的公式是什麼？首先，計算神經元輸入的加權和，即

接著使之規範化，結果在0，1之間。為此使用一個數學函數－－Sigmoid函數：

Sigmoid函數的圖形是一條「S」狀的曲線。

把第一個方程代入第二個，計算神經元輸出的最終公式為：

你可能注意到了，為了簡單，我們沒有引入最低興奮閾值。

調整權重的公式

我們在訓練時不斷調整權重。但是怎麼調整呢？可以使用「Error Weighted Derivative」公式：

為什麼使用這個公式？首先，我們想使調整和誤差的大小成比例。其次，乘以輸入（0或1），如果輸入是0，權重就不會調整。最後，乘以Sigmoid曲線的斜率（圖4）。為了理解最後一條，考慮這些：

我們使用Sigmoid曲線計算神經元的輸出

如果輸出是一個大的正（或負）數，這意味著神經元採用這種（或另一種）方式

從圖四可以看出，在較大數值處，Sigmoid曲線斜率小

如果神經元認為當前權重是正確的，就不會對它進行很大調整。乘以Sigmoid曲線斜率便可以實現這一點

Sigmoid曲線的斜率可以通過求導得到：

把第二個等式代入第一個等式里，得到調整權重的最終公式：

當然有其他公式，它們可以使神經元學習得更快，但是這個公式的優點是非常簡單。

構造Python代碼

雖然我們沒有使用神經網路庫，但是將導入Python數學庫numpy里的4個方法。分別是：

exp－－自然指數

array－－創建矩陣

dot－－進行矩陣乘法

random－－產生隨機數

比如， 我們可以使用array()方法表示前面展示的訓練集：

「.T」方法用於矩陣轉置（行變列）。所以，計算機這樣存儲數字：

我覺得我們可以開始構建更優美的源代碼了。給出這個源代碼後，我會做一個總結。

我對每一行源代碼都添加了注釋來解釋所有內容。注意在每次迭代時，我們同時處理所有訓練集數據。所以變數都是矩陣（二維數據表格）。下面是一個用Python寫地完整的示例代碼。

我們做到了！我們用Python構建了一個簡單的神經網路！

首先神經網路對自己賦予隨機權重，然後使用訓練集訓練自己。接著，它考慮一種新的情形[1, 0, 0]並且預測了0.99993704。正確答案是1。非常接近！

傳統計算機程序通常不會學習。而神經網路卻能自己學習，適應並對新情形做出反應，這是多麼神奇，就像人類一樣。

利用Python實現卷積神經網路的可視化

在本文中，將探討如何可視化卷積神經網路（CNN），該網路在計算機視覺中使用最為廣泛。首先了解CNN模型可視化的重要性，其次介紹可視化的幾種方法，同時以一個用例幫助讀者更好地理解模型可視化這一概念。

正如上文中介紹的癌症腫瘤診斷案例所看到的，研究人員需要對所設計模型的工作原理及其功能掌握清楚，這點至關重要。一般而言，一名深度學習研究者應該記住以下幾點：

1.1 理解模型是如何工作的

1.2 調整模型的參數

1.3 找出模型失敗的原因

1.4 向消費者/終端用戶或業務主管解釋模型做出的決定

2.可視化CNN模型的方法

根據其內部的工作原理，大體上可以將CNN可視化方法分為以下三類：

初步方法：一種顯示訓練模型整體結構的簡單方法

基於激活的方法：對單個或一組神經元的激活狀態進行破譯以了解其工作過程

基於梯度的方法：在訓練過程中操作前向傳播和後向傳播形成的梯度

下面將具體介紹以上三種方法，所舉例子是使用Keras深度學習庫實現，另外本文使用的數據集是由「識別數字」競賽提供。因此，讀者想復現文中案例時，請確保安裝好Kears以及執行了這些步驟。

研究者能做的最簡單的事情就是繪製出模型結構圖，此外還可以標註神經網路中每層的形狀及參數。在keras中，可以使用如下命令完成模型結構圖的繪製：

model.summary()_________________________________________________________________Layer (type)                 Output Shape              Param #  

=================================================================conv2d_1 (Conv2D)            (None, 26, 26, 32)        320_________________________________________________________________conv2d_2 (Conv2D)            (None, 24, 24, 64)        18496_________________________________________________________________max_pooling2d_1 (MaxPooling2 (None, 12, 12, 64)        0_________________________________________________________________dropout_1 (Dropout)          (None, 12, 12, 64)        0_________________________________________________________________flatten_1 (Flatten)          (None, 9216)              0_________________________________________________________________dense_1 (Dense)              (None, 128)               1179776_________________________________________________________________dropout_2 (Dropout)          (None, 128)               0_________________________________________________________________preds (Dense)                (None, 10)                1290      

=================================================================Total params: 1,199,882Trainable params: 1,199,882Non-trainable params: 0

還可以用一個更富有創造力和表現力的方式呈現模型結構框圖，可以使用keras.utils.vis_utils函數完成模型體系結構圖的繪製。

另一種方法是繪製訓練模型的過濾器，這樣就可以了解這些過濾器的表現形式。例如，第一層的第一個過濾器看起來像：

top_layer = model.layers[0]plt.imshow(top_layer.get_weights()[0][:, :, :, 0].squeeze(), cmap=’gray’)

一般來說，神經網路的底層主要是作為邊緣檢測器，當層數變深時，過濾器能夠捕捉更加抽象的概念，比如人臉等。

為了理解神經網路的工作過程，可以在輸入圖像上應用過濾器，然後繪製其卷積後的輸出，這使得我們能夠理解一個過濾器其特定的激活模式是什麼。比如，下圖是一個人臉過濾器，當輸入圖像是人臉圖像時候，它就會被激活。

from vis.visualization import visualize_activation

from vis.utils import utils

from keras import activations

from matplotlib import pyplot as plt

%matplotlib inline

plt.rcParams[‘figure.figsize’] = (18, 6)

# Utility to search for layer index by name.

# Alternatively we can specify this as -1 since it corresponds to the last layer.

layer_idx = utils.find_layer_idx(model, ‘preds’)

# Swap softmax with linear

model.layers[layer_idx].activation = activations.linear

model = utils.apply_modifications(model)

# This is the output node we want to maximize.filter_idx = 0

img = visualize_activation(model, layer_idx, filter_indices=filter_idx)

plt.imshow(img[…, 0])

同理，可以將這個想法應用於所有的類別，並檢查它們的模式會是什麼樣子。

for output_idx in np.arange(10):

  # Lets turn off verbose output this time to avoid clutter and just see the output.

  img = visualize_activation(model, layer_idx, filter_indices=output_idx, input_range=(0., 1.))

  plt.figure()

  plt.title(‘Networks perception of {}’.format(output_idx))

  plt.imshow(img[…, 0])

在圖像分類問題中，可能會遇到目標物體被遮擋，有時候只有物體的一小部分可見的情況。基於圖像遮擋的方法是通過一個灰色正方形系統地輸入圖像的不同部分並監視分類器的輸出。這些例子清楚地表明模型在場景中定位對象時，若對象被遮擋，其分類正確的概率顯著降低。

為了理解這一概念，可以從數據集中隨機抽取圖像，並嘗試繪製該圖的熱圖（heatmap）。這使得我們直觀地了解圖像的哪些部分對於該模型而言的重要性，以便對實際類別進行明確的區分。

def iter_occlusion(image, size=8):

    # taken from

  occlusion = np.full((size * 5, size * 5, 1), [0.5], np.float32)

  occlusion_center = np.full((size, size, 1), [0.5], np.float32)

  occlusion_padding = size * 2

  # print(‘padding…’)

  image_padded = np.pad(image, ( \  (occlusion_padding, occlusion_padding), (occlusion_padding, occlusion_padding), (0, 0) \  ), ‘constant’, constant_values = 0.0)

  for y in range(occlusion_padding, image.shape[0] + occlusion_padding, size):

      for x in range(occlusion_padding, image.shape[1] + occlusion_padding, size):

          tmp = image_padded.copy()

          tmp[y – occlusion_padding:y + occlusion_center.shape[0] + occlusion_padding, \

            x – occlusion_padding:x + occlusion_center.shape[1] + occlusion_padding] \            = occlusion

          tmp[y:y + occlusion_center.shape[0], x:x + occlusion_center.shape[1]] = occlusion_center          yield x – occlusion_padding, y – occlusion_padding, \

            tmp[occlusion_padding:tmp.shape[0] – occlusion_padding, occlusion_padding:tmp.shape[1] – occlusion_padding]i = 23 # for exampledata = val_x[i]correct_class = np.argmax(val_y[i])

# input tensor for model.predictinp = data.reshape(1, 28, 28, 1)# image data for matplotlib’s imshowimg = data.reshape(28, 28)

# occlusionimg_size = img.shape[0]

occlusion_size = 4print(‘occluding…’)heatmap = np.zeros((img_size, img_size), np.float32)class_pixels = np.zeros((img_size, img_size), np.int16)

from collections import defaultdict

counters = defaultdict(int)for n, (x, y, img_float) in enumerate(iter_occlusion(data, size=occlusion_size)):

    X = img_float.reshape(1, 28, 28, 1)

    out = model.predict(X)

    #print(‘#{}: {} @ {} (correct class: {})’.format(n, np.argmax(out), np.amax(out), out[0][correct_class]))

    #print(‘x {} – {} | y {} – {}’.format(x, x + occlusion_size, y, y + occlusion_size))

    heatmap[y:y + occlusion_size, x:x + occlusion_size] = out[0][correct_class]

    class_pixels[y:y + occlusion_size, x:x + occlusion_size] = np.argmax(out)

    counters[np.argmax(out)] += 1

正如之前的坦克案例中看到的那樣，怎麼才能知道模型側重於哪部分的預測呢？為此，可以使用顯著圖解決這個問題。顯著圖首先在這篇文章中被介紹。

使用顯著圖的概念相當直接——計算輸出類別相對於輸入圖像的梯度。這應該告訴我們輸出類別值對於輸入圖像像素中的微小變化是怎樣變化的。梯度中的所有正值告訴我們，像素的一個小變化會增加輸出值。因此，將這些梯度可視化可以提供一些直觀的信息，這種方法突出了對輸出貢獻最大的顯著圖像區域。

class_idx = 0indices = np.where(val_y[:, class_idx] == 1.)[0]

# pick some random input from here.idx = indices[0]

# Lets sanity check the picked image.from matplotlib import pyplot as plt%matplotlib inline

plt.rcParams[‘figure.figsize’] = (18, 6)plt.imshow(val_x[idx][…, 0])

from vis.visualization import visualize_saliency

from vis.utils import utilsfrom keras import activations# Utility to search for layer index by name.

# Alternatively we can specify this as -1 since it corresponds to the last layer.

layer_idx = utils.find_layer_idx(model, ‘preds’)

# Swap softmax with linearmodel.layers[layer_idx].activation = activations.linear

model = utils.apply_modifications(model)grads = visualize_saliency(model, layer_idx, filter_indices=class_idx, seed_input=val_x[idx])

# Plot with ‘jet’ colormap to visualize as a heatmap.plt.imshow(grads, cmap=’jet’)

# This corresponds to the Dense linear layer.for class_idx in np.arange(10):

    indices = np.where(val_y[:, class_idx] == 1.)[0]

    idx = indices[0]

    f, ax = plt.subplots(1, 4)

    ax[0].imshow(val_x[idx][…, 0])

    for i, modifier in enumerate([None, ‘guided’, ‘relu’]):

        grads = visualize_saliency(model, layer_idx, filter_indices=class_idx,

        seed_input=val_x[idx], backprop_modifier=modifier)

        if modifier is None:

            modifier = ‘vanilla’

        ax[i+1].set_title(modifier)

        ax[i+1].imshow(grads, cmap=’jet’)

類別激活映射（CAM）或grad-CAM是另外一種可視化模型的方法，這種方法使用的不是梯度的輸出值，而是使用倒數第二個卷積層的輸出，這樣做是為了利用存儲在倒數第二層的空間信息。

from vis.visualization import visualize_cam

# This corresponds to the Dense linear layer.for class_idx in np.arange(10):

indices = np.where(val_y[:, class_idx] == 1.)[0]

idx = indices[0]f, ax = plt.subplots(1, 4)

ax[0].imshow(val_x[idx][…, 0])

for i, modifier in enumerate([None, ‘guided’, ‘relu’]):

    grads = visualize_cam(model, layer_idx, filter_indices=class_idx,

    seed_input=val_x[idx], backprop_modifier=modifier)

    if modifier is None:

        modifier = ‘vanilla’

    ax[i+1].set_title(modifier)

    ax[i+1].imshow(grads, cmap=’jet’)

本文簡單說明了CNN模型可視化的重要性，以及介紹了一些可視化CNN網路模型的方法，希望對讀者有所幫助，使其能夠在後續深度學習應用中構建更好的模型。 免費視頻教程：

BP神經網路——Python簡單實現三層神經網路（Numpy）

我們將在Python中創建一個NeuralNetwork類，以訓練神經元以給出準確的預測。該課程還將具有其他幫助程序功能。

1. 應用Sigmoid函數

我們將使用 Sigmoid函數 （它繪製一條「 S」形曲線）作為神經網路的激活函數。

2. 訓練模型

這是我們將教神經網路做出準確預測的階段。每個輸入將具有權重（正或負）。

這意味著具有大量正權重或大量負權重的輸入將對結果輸出產生更大的影響。

我們最初是將每個權重分配給一個隨機數。

本文參考翻譯於此網站 —— 原文

Hopfield神經網路用python實現講解？

神經網路結構具有以下三個特點：

神經元之間全連接，並且為單層神經網路。

每個神經元既是輸入又是輸出，導致得到的權重矩陣相對稱，故可節約計算量。

在輸入的激勵下，其輸出會產生不斷的狀態變化，這個反饋過程會一直反覆進行。假如Hopfield神經網路是一個收斂的穩定網路，則這個反饋與迭代的計算過程所產生的變化越來越小，一旦達到了穩定的平衡狀態，Hopfield網路就會輸出一個穩定的恆值。

Hopfield網路可以儲存一組平衡點，使得當給定網路一組初始狀態時，網路通過自行運行而最終收斂於這個設計的平衡點上。當然，根據熱力學上，平衡狀態分為stable state和metastable state, 這兩種狀態在網路的收斂過程中都是非常可能的。

為遞歸型網路，t時刻的狀態與t-1時刻的輸出狀態有關。之後的神經元更新過程也採用的是非同步更新法(Asynchronous)。

Hopfield神經網路用python實現