包含gpu與python的詞條

本文目錄一覽：

• 1、caffe python代碼怎麼用 gpu運行
• 2、使用集群運行你的python代碼
• 3、使用python在GPU上構建和訓練卷積神經網路
• 4、python對電腦顯卡要求
• 5、python要學習多久？

caffe python代碼怎麼用 gpu運行

編譯和安裝Caffe 。。。但我在編譯caffe時 輸入make all 指令時報錯 ：提示找不到hdf5.h 我百度後 按照這個解決了。這樣make all 成功 make test也成功 make runtest也成功。 再開始其第3步：增加python支持這步 開始我看不清 就從這裡開始參考： 編譯python時： make pycaffe報錯：找不到arrayobject.h 解決辦法：sudo apt-get install python-numpy 這樣就解決了。這樣第3步的幾條指令均成功。再開始第4步 第4.2步報錯說:pip 找不到指令 於是我在終端輸入sudo apt-get install python-pip即解決了。 接著執行4.2步 第一個ipython[all]裝時失敗了 我就先裝後面的幾個 有的成功 有的失敗 失敗的是protobuf和skimage 解決辦法是：自己

使用集群運行你的python代碼

集群中有四台主機，master（無GPU），node01,node02,node03(GPU主機)，直接運行 python main.py 程序將在CPU中運行。

如下步驟可以運行你的程序：

在你的文件目錄下新建一個 lsf.sh 文件，正文寫入：

其中 python main.py 是你運行程序的命令，然後:

source activate 你的conda環境

開啟環境，用

bsub lsf.sh 向集群提交運算任務。

即可運行程序，終端會給你一個任務序號，輸出文件就是 序號.out 和 序號.err 。

** 其他命令：**

bjobs -W 查看你的任務運行狀況

bhosts -gpu 查看集群GPU使用情況。

使用python在GPU上構建和訓練卷積神經網路

我將對代碼進行補充演練，以構建在數據集上訓練的任何類型的圖像分類器。在這個例子中，我將使用花卉數據集，其中包括102種不同類型的花。需要數據集和代碼都可以私信我。

Pytorch是機器學習和Python上的免費軟體包，非常易於使用。語法模擬numpy，因此，如果你在python中有一些科學計算經驗，那麼會相當有用的。只需幾行代碼，就可以下載預先訓練的數據集，使用定義的變換對圖像進行標準化，然後運行訓練。

創建和擴充數據集

為了增加數據集，我使用’ google_images_download’API 從互聯網上下載了相關圖像。顯然，您可以使用此API不僅可以擴充現有數據集，還可以從頭開始創建自己的數據集。

確保從圖像中挑選出異常值(損壞的文件或偶然出現的無關圖像)。

圖像標準化

為了使圖像具有相同的大小和像素變化，可以使用pytorch的transfors模塊：

轉移學習

從頭開始訓練的模型可能不是最明智的選擇，因為有許多網路可用於各種數據集。簡單地說，像edge-和其他簡單形狀檢測器等低級特徵對於不同的模型是相似的，即使clasificators是針對不同目的進行訓練的。在本項目中，我使用了一個預訓練網路Resnet152，只有最後一個完全連接的層重新用於新任務，即使這樣也會產生相當好的效果。

在這裡，我將除最後一層之外的所有層都設置為具有固定權重（requires_grad = False），因此只有最後層中的參數將通過梯度下降進行更新。

訓練模型

下面介紹一下進行訓練的函數：

如何獲得GPU？

當然，對CPU的訓練太慢了。根據我自己的經驗，在GPU僅需要一個小時就可以完成12次訓練周期，但是在CPU上相同數量的訓練周期可能需要花費大約15個小時。

如果您沒有本地可用的GPU，則可以考慮使用雲GPU。為了加速CNN的訓練，我使用了floydhub（）上提供的雲GPU 。

這項服務非常指的使用：總有很好的文檔和大量的提示，所以你會很清楚的知道下一步需要如何去做。在floydhub上對於使用GPU的收費也是可以接受的。

首先，需要將數據集上傳到伺服器

然後，需要創建項目。需要在計算機上安裝floydhub客戶端，將數據集上載到其網站並在終端中運行以下命令：

其中’username’是您的登錄名，’i’是數據集所在的文件夾。

這樣子在訓練網路時就會很輕鬆了

結果和改進想法

得到的模型在數據集上訓練了1.5小時，並在驗證數據集上達到了95％的準確度。

python對電腦顯卡要求

一般情況下對顯卡無明顯要求。複雜程序最多是對cpu內存要求大些。

如果是需要渲染圖形界面，理論上和python關係也不大。普通python的圖形界面編程對計算機顯示硬體要求不高

python要學習多久？

一周或者一個月。

如果完全靠自己自學，又是從零基礎開始學習Python的情況下，按照每個人的學習和理解能力的不同，我認為大致上需要半年到一年半左右的時間。

當然了，Python學習起來還是比較簡單的，如果有其他編程語言經驗，入門Python還是非常快的，花1-2個月左右的時間學完基礎，就可以自己編寫一些小的程序練練手了，5-6個月的時間就可以上手做項目了。

從一定程度上來說，一些零基礎的初學者想要利用兩個月的時間掌握好Python是不太可能的，學習完Python後想要應聘相對應的工作崗位，即便是選擇最快的學習方式也是很難實現的，無法快速實現就業。