python中dbn演算法（dbf python）

本文目錄一覽：

• 1、在深度學習中，DNN與DBN兩個網路有什麼區別
• 2、怎樣用python調用已經訓練好的caffe
• 3、各種編程語言的深度學習庫整理大全！

在深度學習中，DNN與DBN兩個網路有什麼區別

dnn 從名字上你就可以看出來，是深度神經網路，類比於淺層神經網路，它的訓練方法也是BP，沒有引入無監督的預訓練。隱層的激活函數使用了 ReLU,改善了「梯度彌散」，通過正則化+dropout 改善了過擬合的現象，在輸出層 是softmax 作為激活函數。目標函數是交叉熵。

他是一個 有監督的判別模型。

stacked denoised autoencoder (SDA)深度學習結構，和DBN類似 使用 無監督的網路「堆疊」起來的，他有分層預訓練來尋找更好的參數，最後使用BP來微調網路。比dnn利用各種演算法來初始化權值矩陣，從經驗上來看是有幫助的。但是缺點也很明顯，每層的貪婪學習權值矩陣，也帶來了過長的訓練時間。在大量的數據面前 dnn(relu)的效果已經不差於預訓練的深度學習結構了。最終DBN也是看成是「生成模型」。

CNN 也沒有pre-train過程，訓練演算法也是用BP。 因為加入卷積 可以更好的處理2D數據，例如圖像和語音。並且目前看來 相比其它網路有更好的表現。dnn/dbn/sda 等都是處理1D的數據。

怎樣用python調用已經訓練好的caffe

定義CAFFE為caffe跟目錄，caffe的核心代碼都在$CAFFE/src/caffe 下，主要有以下部分：net, blob, layer, solver.

net.cpp:

net定義網路， 整個網路中含有很多layers， net.cpp負責計算整個網路在訓練中的forward, backward過程， 即計算forward/backward 時各layer的gradient。

layers:

在$CAFFE/src/caffe/layers中的層，在protobuffer (.proto文件中定義message類型，.prototxt或.binaryproto文件中定義message的值) 中調用時包含屬性name， type（data/conv/pool…）， connection structure (input blobs and output blobs)，layer-specific parameters（如conv層的kernel大小）。定義一個layer需要定義其setup, forward 和backward過程。

blob.cpp:

net中的數據和求導結果通過4維的blob傳遞。一個layer有很多blobs， e.g,

對data，weight blob大小為Number * Channels * Height * Width, 如256*3*224*224；

對conv層，weight blob大小為 Output 節點數 * Input 節點數 * Height * Width，如AlexNet第一個conv層的blob大小為96 x 3 x 11 x 11；

對inner product 層， weight blob大小為 1 * 1 * Output節點數 * Input節點數； bias blob大小為1 * 1 * 1 * Output節點數（ conv層和inner product層一樣，也有weight和bias，所以在網路結構定義中我們會看到兩個blobs_lr，第一個是weights的，第二個是bias的。類似地，weight_decay也有兩個，一個是weight的，一個是bias的）；

blob中，mutable_cpu/gpu_data() 和cpu/gpu_data()用來管理memory，cpu/gpu_diff()和 mutable_cpu/gpu_diff()用來計算求導結果。

slover.cpp:

結合loss，用gradient更新weights。主要函數：

Init(),

Solve(),

ComputeUpdateValue(),

Snapshot(), Restore(),//快照（拷貝）與恢復 網路state

Test()；

在solver.cpp中有3中solver，即3個類：AdaGradSolver, SGDSolver和NesterovSolver可供選擇。

關於loss，可以同時有多個loss，可以加regularization（L1/L2）；

Protocol buffer：

上面已經將過， protocol buffer在 .proto文件中定義message類型，.prototxt或.binaryproto文件中定義message的值；

Caffe

Caffe的所有message定義在$CAFFE/src/caffe/proto/caffe.proto中。

Experiment

在實驗中，主要用到兩個protocol buffer: solver的和model的，分別定義solver參數（學習率啥的）和model結構(網路結構)。

好吧，copy了一大段，不曉得有沒有幫助，說點accuracy = 0.5的問題。簡單說，就是分錯了，好吧我知道這是廢話。既然是分錯了，那麼就要檢查下了，首先檢查你的訓練模型。

根據訓練過程來看，訓練應該是已經收斂了，（反正loss一直在減小）。

這句可能是我理解問題，如果模型收斂的話，loss應該趨於平穩，如這樣。

哦這是對數圖。如果沒有完全收斂的話，考慮下調整參數吧。說到調參，又是個坑啊。。。這個我也是懵懵懂懂。不過可以參考某些大牛的做法，比如用淺層CNN參數初始化深層CNN，或者學hinton老爺子用DBN來搞個預訓練。不過即使是隨機初始參數，按道理不應該出現這種accuracy=0.5的情況。個人感覺要麼就是訓練沒有完成，要麼就是在做最後二分的那一層有什麼問題。。。

其實應該先檢查訓練數據，訓練數據搞混了，其他都是白搭。

如果檢查模型，你可以先看下你參數更新的梯度是否已經趨於零了，然後再看看你二分那一層有木有問題。

當然，說了這麼多，可能也沒啥幫助，如果你哪天改用matlab或者theano了，可以交流下，caffe確實不甚了解。。。

在嘗試用caffe分類一個自己的二分類圖像資料庫。根據訓練過程來看，訓練應該是已經收斂了，（反正loss一直在減小）。然而測試集上的accuracy一直都是=0.5.

所以現在想著把生成的模型文件調出來用數據測試下，觀察下是什麼問題，請問應當如何去實現呢。

或者各位如果能指點下，可能是什麼原因導致的accuracy = 0.5 不變。那就更好啦。

謝謝！

各種編程語言的深度學習庫整理大全！

各種編程語言的深度學習庫整理大全！

Python1. Theano是一個python類庫，用數組向量來定義和計算數學表達式。它使得在Python環境下編寫深度學習演算法變得簡單。在它基礎之上還搭建了許多類庫。

1.Keras是一個簡潔、高度模塊化的神經網路庫，它的設計參考了Torch，用Python語言編寫，支持調用GPU和CPU優化後的Theano運算。

2.Pylearn2是一個集成大量深度學習常見模型和訓練演算法的庫，如隨機梯度下降等。它的功能庫都是基於Theano之上。

3.Lasagne是一個搭建和訓練神經網路的輕量級封裝庫，基於Theano。它遵循簡潔化、透明化、模塊化、實用化和專一化的原則。

4.Blocks也是一個基於Theano的幫助搭建神經網路的框架。

2. Caffe是深度學習的框架，它注重於代碼的表達形式、運算速度以及模塊化程度。它是由伯克利視覺和學習中心（Berkeley Vision and Learning Center, BVLC）以及社區成員共同開發。谷歌的DeepDream項目就是基於Caffe框架完成。這個框架是使用BSD許可證的C++庫，並提供了Python調用介面。

3. nolearn囊括了大量的現有神經網路函數庫的封裝和抽象介面、大名鼎鼎的Lasagne以及一些機器學習的常用模塊。

4. Genism也是一個用Python編寫的深度學習小工具，採用高效的演算法來處理大規模文本數據。

5. Chainer在深度學習的理論演算法和實際應用之間架起一座橋樑。它的特點是強大、靈活、直觀，被認為是深度學習的靈活框架。

6. deepnet是基於GPU的深度學習演算法函數庫，使用Python語言開發，實現了前饋神經網路（FNN）、受限玻爾茲曼機（RBM）、深度信念網路（DBN）、自編碼器（AE）、深度玻爾茲曼機（DBM）和卷積神經網路（CNN）等演算法。

7. Hebel也是深度學習和神經網路的一個Python庫，它通過pyCUDA控制支持CUDA的GPU加速。它實現了最重要的幾類神經網路模型，提供了多種激活函數和模型訓練方法，例如momentum、Nesterov momentum、dropout、和early stopping等方法。

8. CXXNET是一個基於MShadow開發的快速、簡潔的分散式深度學習框架。它是一個輕量級、易擴展的C++/CUDA神經網路工具箱，提供友好的Python/Matlab介面來進行訓練和預測。

9. DeepPy是基於NumPy的深度學習框架。

10. DeepLearning是一個用C++和Python共同開發的深度學習函數庫。

11. Neon是Nervana System 的深度學習框架，使用Python開發。

Matlab

1. ConvNet 卷積神經網路是一類深度學習分類演算法，它可以從原始數據中自主學習有用的特徵，通過調節權重值來實現。

2. DeepLearnToolBox是用於深度學習的Matlab/Octave工具箱，它包含深度信念網路（DBN）、棧式自編碼器（stacked AE）、卷積神經網路（CNN）等演算法。

3. cuda-convet是一套卷積神經網路（CNN）代碼，也適用於前饋神經網路，使用C++/CUDA進行運算。它能對任意深度的多層神經網路建模。只要是有向無環圖的網路結構都可以。訓練過程採用反向傳播演算法（BP演算法）。

4. MatConvNet是一個面向計算機視覺應用的卷積神經網路（CNN）Matlab工具箱。它簡單高效，能夠運行和學習最先進的機器學習演算法。

CPP

1. eblearn是開源的機器學習C++封裝庫，由Yann LeCun主導的紐約大學機器學習實驗室開發。它用基於能量的模型實現卷積神經網路，並提供可視化交互界面（GUI）、示例以及示範教程。

2. SINGA是Apache軟體基金會支持的一個項目，它的設計目標是在現有系統上提供通用的分散式模型訓練演算法。

3. NVIDIA DIGITS是用於開發、訓練和可視化深度神經網路的一套新系統。它把深度學習的強大功能用瀏覽器界面呈現出來，使得數據科學家和研究員可以實時地可視化神經網路行為，快速地設計出最適合數據的深度神經網路。

4. Intel? Deep Learning Framework提供了Intel?平台加速深度卷積神經網路的一個統一平台。

Java

1. N-Dimensional Arrays for Java (ND4J) 是JVM平台的科學計算函數庫。它主要用於產品中，也就是說函數的設計需求是運算速度快、存儲空間最省。

2. Deeplearning4j 是第一款商業級別的開源分散式深度學習類庫，用Java和Scala編寫。它的設計目的是為了在商業環境下使用，而不是作為一款研究工具。

3. Encog是一個機器學習的高級框架，涵蓋支持向量機、人工神經網路、遺傳編程、貝葉斯網路、隱馬可夫模型等，也支持遺傳演算法。

JavaScript

1. Convnet.js 由JavaScript編寫，是一個完全在瀏覽器內完成訓練深度學習模型（主要是神經網路）的封裝庫。不需要其它軟體，不需要編譯器，不需要安裝包，不需要GPU，甚至不費吹灰之力。

Lua

1. Torch是一款廣泛適用於各種機器學習演算法的科學計算框架。它使用容易，用快速的腳本語言LuaJit開發，底層是C/CUDA實現。Torch基於Lua編程語言。

Julia

1. Mocha是Julia的深度學習框架，受C++框架Caffe的啟發。Mocha中通用隨機梯度求解程序和通用模塊的高效實現，可以用來訓練深度/淺層（卷積）神經網路，可以通過（棧式）自編碼器配合非監督式預訓練（可選）完成。它的優勢特性包括模塊化結構、提供上層介面，可能還有速度、兼容性等更多特性。

Lisp

1. Lush(Lisp Universal Shell)是一種面向對象的編程語言，面向對大規模數值和圖形應用感興趣的廣大研究員、實驗員和工程師們。它擁有機器學習的函數庫，其中包含豐富的深度學習庫。

Haskell

1. DNNGraph是Haskell用於深度神經網路模型生成的領域特定語言（DSL）。

.NET

1. Accord.NET 是完全用C#編寫的.NET機器學習框架，包括音頻和圖像處理的類庫。它是產品級的完整框架，用於計算機視覺、計算機音頻、信號處理和統計應用領域。

R

1. darch包可以用來生成多層神經網路（深度結構）。訓練的方法包括了對比散度的預訓練和眾所周知的訓練演算法（如反向傳播法或共軛梯度法）的細調。

2. deepnet實現了許多深度學習框架和神經網路演算法，包括反向傳播(BP)、受限玻爾茲曼機(RBM)、深度信念網路(DBP)、深度自編碼器(Deep autoencoder)等等。