關於使用python玩轉gpu的信息

本文目錄一覽：

• 1、用python寫GPU上的並行計算程序，有什麼庫或者編譯器
• 2、Python能幹什麼
• 3、使用python在GPU上構建和訓練卷積神經網絡
• 4、如何用Python一門語言通吃高性能並發，GPU計算和深度學習
• 5、caffe python代碼怎麼用 gpu運行

用python寫GPU上的並行計算程序，有什麼庫或者編譯器

因為我的程序中需要並行的是優化計算的evaluation部分，所以如果能夠找到一些支持並行優化的庫就可以。 從python官網上，可以找到一個DEAP庫（git上有），利用map進行並行計算。 這個庫的優點是，documents和例子是非常詳細的。

Python能幹什麼

1、Web開發

由於Python是一種解釋型的腳本語言，開發效率高，所以非常適合用來做Web開發。

Python有上百種Web開發框架，有很多成熟的模板技術，選擇Python開發Web應用，不但開發效率高，而且運行速度快。常用的web開發框架有：Django、Flask、Tornado等。

由於後台服務器的通用性，除了狹義的網站之外，很多App和遊戲的服務器端也同樣用 Python實現。

2、網絡爬蟲

網絡爬蟲是Python比較常用的一個場景，國際上，google在早期大量地使用Python語言作為網絡爬蟲的基礎，帶動了整個Python語言的應用發展。以前國內很多人用採集器搜刮網上的內容，現在用Python收集網上的信息比以前容易很多了，如：

從各大網站爬取商品折扣信息，比較獲取最優選擇;

對社交網絡上發言進行收集分類，生成情緒地圖，分析語言習慣;

爬取網易雲音樂某一類歌曲的所有評論，生成詞雲;

按條件篩選獲得豆瓣的電影書籍信息並生成表格……

3、人工智能

Python有很多庫很方便做人工智能，比如numpy,

scipy做數值計算的，sklearn做機器學習的，pybrain做神經網絡的，matplotlib將數據可視化的。在人工智能大範疇領域內的數據挖掘、機器學習、神經網絡、深度學習等方面都是主流的編程語言，得到廣泛的支持和應用。

人工智能的核心算法大部分還是依賴於C/C++的，因為是計算密集型，需要非常精細的優化，還需要GPU、專用硬件之類的接口，這些都只有C/C++能做到。

4、數據分析

數據分析處理方面，Python有很完備的生態環境。「大數據」分析中涉及到的分佈式計算、數據可視化、數據庫操作等，Python中都有成熟的模塊可以選擇完成其功能。

對於Hadoop-MapReduce和Spark，都可以直接使用Python完成計算邏輯，這無論對於數據科學家還是對於數據工程師而言都是十分便利的。

5、自動化運維

Python對於服務器運維而言也有十分重要的用途。由於目前幾乎所有Linux發行版中都自帶了Python解釋器，使用Python腳本進行批量化的文件部署和運行調整都成了Linux服務器上很不錯的選擇。

Python中也包含許多方便的工具，從調控ssh/sftp用的paramiko，到監控服務用的supervisor，再到bazel等構建工具，甚至conan等用於C++的包管理工具，Python提供了全方位的工具集合，而在這基礎上，結合Web，開發方便運維的工具會變得十分簡單。

使用python在GPU上構建和訓練卷積神經網絡

我將對代碼進行補充演練，以構建在數據集上訓練的任何類型的圖像分類器。在這個例子中，我將使用花卉數據集，其中包括102種不同類型的花。需要數據集和代碼都可以私信我。

Pytorch是機器學習和Python上的免費軟件包，非常易於使用。語法模擬numpy，因此，如果你在python中有一些科學計算經驗，那麼會相當有用的。只需幾行代碼，就可以下載預先訓練的數據集，使用定義的變換對圖像進行標準化，然後運行訓練。

創建和擴充數據集

為了增加數據集，我使用’ google_images_download’API 從互聯網上下載了相關圖像。顯然，您可以使用此API不僅可以擴充現有數據集，還可以從頭開始創建自己的數據集。

確保從圖像中挑選出異常值(損壞的文件或偶然出現的無關圖像)。

圖像標準化

為了使圖像具有相同的大小和像素變化，可以使用pytorch的transfors模塊：

轉移學習

從頭開始訓練的模型可能不是最明智的選擇，因為有許多網絡可用於各種數據集。簡單地說，像edge-和其他簡單形狀檢測器等低級特徵對於不同的模型是相似的，即使clasificators是針對不同目的進行訓練的。在本項目中，我使用了一個預訓練網絡Resnet152，只有最後一個完全連接的層重新用於新任務，即使這樣也會產生相當好的效果。

在這裡，我將除最後一層之外的所有層都設置為具有固定權重（requires_grad = False），因此只有最後層中的參數將通過梯度下降進行更新。

訓練模型

下面介紹一下進行訓練的函數：

如何獲得GPU？

當然，對CPU的訓練太慢了。根據我自己的經驗，在GPU僅需要一個小時就可以完成12次訓練周期，但是在CPU上相同數量的訓練周期可能需要花費大約15個小時。

如果您沒有本地可用的GPU，則可以考慮使用雲GPU。為了加速CNN的訓練，我使用了floydhub（）上提供的雲GPU 。

這項服務非常指的使用：總有很好的文檔和大量的提示，所以你會很清楚的知道下一步需要如何去做。在floydhub上對於使用GPU的收費也是可以接受的。

首先，需要將數據集上傳到服務器

然後，需要創建項目。需要在計算機上安裝floydhub客戶端，將數據集上載到其網站並在終端中運行以下命令：

其中’username’是您的登錄名，’i’是數據集所在的文件夾。

這樣子在訓練網絡時就會很輕鬆了

結果和改進想法

得到的模型在數據集上訓練了1.5小時，並在驗證數據集上達到了95％的準確度。

如何用Python一門語言通吃高性能並發，GPU計算和深度學習

我們根據j收集到的海量行為w數據構建了人類行為w的邊界，同時我們還動態實時地監控每個驗證一段時用j的全部b驗證行為w，當這些行為w的特徵z分佈b發生s變化h時我們的驗證也會將分佈b異常集中的驗證行為w擋住。所以極驗驗證可以在比對手更加安全的同時對於用戶也更加友好h，實現安全與用戶體驗的雙重提升s。

caffe python代碼怎麼用 gpu運行

編譯和安裝Caffe 。。。但我在編譯caffe時 輸入make all 指令時報錯 ：提示找不到hdf5.h 我百度後 按照這個解決了。這樣make all 成功 make test也成功 make runtest也成功。 再開始其第3步：增加python支持這步 開始我看不清 就從這裡開始參考： 編譯python時： make pycaffe報錯：找不到arrayobject.h 解決辦法：sudo apt-get install python-numpy 這樣就解決了。這樣第3步的幾條指令均成功。再開始第4步 第4.2步報錯說:pip 找不到指令 於是我在終端輸入sudo apt-get install python-pip即解決了。 接着執行4.2步 第一個ipython[all]裝時失敗了 我就先裝後面的幾個 有的成功 有的失敗 失敗的是protobuf和skimage 解決辦法是：自己