自從收了這些python庫,python中的庫

本文目錄一覽：

• 1、值得收藏的Python第三方庫
• 2、Python中數據收集不可不知的庫！
• 3、python庫有哪些
• 4、13個最常用的Python深度學習庫介紹

值得收藏的Python第三方庫

網路站點爬取

爬取網路站點的庫Scrapy – 一個快速高級的屏幕爬取及網頁採集框架。cola – 一個分散式爬蟲框架。Demiurge – 基於PyQuery 的爬蟲微型框架。feedparser – 通用 feed 解析器。Grab – 站點爬取框架。MechanicalSoup – 用於自動和網路站點交互的 Python 庫。portia – Scrapy 可視化爬取。pyspider – 一個強大的爬蟲系統。RoboBrowser – 一個簡單的，Python 風格的庫，用來瀏覽網站，而不需要一個獨立安裝的瀏覽器。

互動式解析器

互動式 Python 解析器。

IPython – 功能豐富的工具，非常有效的使用互動式 Python。

bpython- 界面豐富的 Python 解析器。

ptpython – 高級互動式Python解析器， 構建於python-prompt-toolkit 之上。

圖像處理

用來操作圖像的庫.

pillow – Pillow 是一個更加易用版的 PIL。

hmap – 圖像直方圖映射。

imgSeek – 一個使用視覺相似性搜索一組圖片集合的項目。

nude.py – 裸體檢測。

pyBarcode – 不藉助 PIL 庫在 Python 程序中生成條形碼。

pygram – 類似 Instagram 的圖像濾鏡。

python-qrcode – 一個純 Python 實現的二維碼生成器。

Quads – 基於四叉樹的計算機藝術。

scikit-image – 一個用於（科學）圖像處理的 Python 庫。

thumbor – 一個小型圖像服務，具有剪裁，尺寸重設和翻轉功能。

wand – MagickWand的Python 綁定。MagickWand 是 ImageMagick的 C API 。

HTTP

使用HTTP的庫。

requests – 人性化的HTTP請求庫。

grequests – requests 庫 + gevent ，用於非同步 HTTP 請求.

httplib2 – 全面的 HTTP 客戶端庫。

treq – 類似 requests 的Python API 構建於 Twisted HTTP 客戶端之上。

urllib3 – 一個具有線程安全連接池，支持文件 post，清晰友好的 HTTP 庫。

資料庫

Python實現的資料庫。

pickleDB – 一個簡單，輕量級鍵值儲存資料庫。

PipelineDB – 流式 SQL 資料庫。

TinyDB – 一個微型的，面向文檔型資料庫。

ZODB – 一個 Python 原生對象資料庫。一個鍵值和對象圖資料庫。

Web 框架

全棧 web 框架。

Django – Python 界最流行的 web 框架。

awesome-django系列

Flask – 一個 Python 微型框架。

系列

Pyramid – 一個小巧，快速，接地氣的開源Python web 框架。

awesome-pyramid系列

Bottle – 一個快速小巧，輕量級的 WSGI 微型 web 框架。

CherryPy – 一個極簡的 Python web 框架，服從 HTTP/1.1 協議且具有WSGI 線程池。

TurboGears – 一個可以擴展為全棧解決方案的微型框架。

web.py – 一個 Python 的 web 框架，既簡單，又強大。

web2py – 一個全棧 web 框架和平台，專註於簡單易用。

Tornado – 一個web 框架和非同步網路庫。

HTML處理

處理 HTML和XML的庫。

BeautifulSoup – 以 Python 風格的方式來對 HTML 或 XML 進行迭代，搜索和修改。

bleach – 一個基於白名單的 HTML 清理和文本鏈接庫。

cssutils – 一個 Python 的 CSS 庫。

html5lib – 一個兼容標準的 HTML 文檔和片段解析及序列化庫。

lxml – 一個非常快速，簡單易用，功能齊全的庫，用來處理 HTML 和 XML。

MarkupSafe – 為Python 實現 XML/HTML/XHTML 標記安全字元串。

pyquery – 一個解析 HTML 的庫，類似 jQuery。

untangle – 將XML文檔轉換為Python對象，使其可以方便的訪問。

xhtml2pdf – HTML/CSS 轉 PDF 工具。

xmltodict – 像處理 JSON 一樣處理 XML。

遊戲開發

超贊的遊戲開發庫。

Cocos2d – cocos2d 是一個用來開發 2D 遊戲， 示例和其他圖形/交互應用的框架。基於 pyglet。

Panda3D – 由迪士尼開發的 3D 遊戲引擎，並由卡內基梅隴娛樂技術中心負責維護。使用C++編寫, 針對 Python 進行了完全的封裝。

Pygame – Pygame 是一組 Python 模塊，用來編寫遊戲。

PyOgre – Ogre 3D 渲染引擎的 Python 綁定，可以用來開發遊戲和模擬程序等任何 3D 應用。

PyOpenGL – OpenGL 的 Python 綁定及其相關 APIs。

PySDL2 – SDL2 庫的封裝，基於 ctypes。

RenPy – 一個視覺小說（visual novel）引擎。

Python中數據收集不可不知的庫！

1. Scrapy

要想編寫一個Python網路爬蟲來從網頁上提取信息，Scrapy可能是大部分人第一個想到的Python庫。

例如，使用者可以提取某城市所有餐廳的評論或是收集網購網站上某一種產品的所有評論。

對於該庫最常見的用法是利用它來識別出現在網站頁面上那些有趣的信息模式，無論這些信息是以URL的形式出現還是以XPath的形式出現。

一旦理清了這些信息的模式，Scrapy就可以協助使用者自動提取所需信息，並將其整理為表格或JSON格式的數據結構。

使用pip即可輕鬆安裝Scrapy。

2. Selenium

Selenium設計者的初衷是將其打造成一個自動網站測試框架，但開發者們發現將其用作網頁數據抓取工具的效果更佳。

使用者在感興趣的網站上已經進行了交互行為之後，Selenium一般能派上用場。

比如說，使用者可能需要在網站上註冊一個賬戶，登陸自己的賬戶，再點擊幾個按鈕或是鏈接才能找到自己想要的內容。

上述鏈接被定義為JavaScript函數。在這一情況下，要應用Scrapy或者Beautiful Soup可能都不是很便捷，但使用Selenium就可以輕而易舉地完成這一過程。

但應當注意，Selenium比普通的抓取庫運行速度要慢得多。這是因為Selenium會將Chrome這樣的瀏覽器初始化並模擬瀏覽器代碼定義的所有行為。

因此，在處理URL模式或Xpaths時，最好還是使用Scrapy或者Beautiful Soup，不到萬不得已不要使用Selenium。

3. BeautifulSoup

Beautiful Soup是另一個可以用來收集網站內容的Python庫。業界普遍認為，學習BeautifulSoup所需時間比學習Scrapy所需時間要短很多。

除此之外，Beautiful Soup更適合應用於規模相對較小的問題或一次性的任務。

Scrapy要求使用者開發自己的「爬蟲」並通過命令行進行操作，而使用Beautiful Soup只需將其功能導入計算機中並聯機使用即可。因此，使用者甚至可以將Beautiful Soup應用於自己的Jupyternotebook。

更多Python知識，請關注Python視頻教程！！

python庫有哪些

Python比較常見的庫有：Arrow、Behold、Click、Numba、Matlibplot、Pillow等：

1、Arrow

Python中處理時間的庫有datetime，但是它過於簡單，使用起來不夠方便和智能，而Arrow可以說非常的方便和智能。它可以輕鬆地定位幾個小時之前的時間，可以輕鬆轉換時區時間，對於一個小時前，2個小時之內這樣人性化的信息也能夠準確解讀。

2、Behold

調試程序是每個程序員必備的技能，對於腳本語言，很多人習慣於使用print進行調試，然而對於大項目來說，print的功能還遠遠不足，我們希望有一個可以輕鬆使用，調試方便，對變數監視完整，格式已於查看的工具，而Behold就是那個非常好用的調試庫。

3、Click

現在幾乎所有的框架都有自己的命令行腳手架，Python也不例外，那麼如何快速開發出屬於自己的命令行程序呢?答案就是使用Python的Click庫。Click庫對命令行api進行了大量封裝，你可以輕鬆開發出屬於自己的CLI命令集。終端的顏色，環境變數信息，通過Click都可以輕鬆進行獲取和改變。

4、Numba

如果你從事數學方面的分析和計算，那麼Numba一定是你必不可少的庫。Numpy通過將高速C庫包裝在Python介面中來工作，而Cython使用可選的類型將Python編譯為C以提高性能。但是Numba無疑是最方便的，因為它允許使用裝飾器選擇性地加速Python函數。

5、Matlibplot

做過數據分析，數據可視化的數學學生一定知道matlab這個軟體，這是一個收費的數學商用軟體，在Python中，Matlibplot就是為了實現這個軟體中功能開發的第三方Python庫。並且它完全是免費的，很多學校都是用它來進行數學教學和研究的。

6、Pillow

圖像處理是任何時候我們都需要關注的問題，平時我們看到很多ps中的神技，比如調整畫面顏色，飽和度，調整圖像尺寸，裁剪圖像等等，這些其實都可以通過Python簡單完成，而其中我們需要使用的庫就是Pillow。

7、pyqt5

Python是可以開發圖形界面程序的。而pyqt就是一款非常好用的第三方GUI庫，有了它，你可以輕鬆開發出跨平台的圖形應用程序，其中qtdesigner設計器，更是加速了我們開發圖形界面的速度。

除了上述介紹的之外，Python還有很多庫，比如：Pandas、NumPy、SciPy、Seaborn、Keras等。

13個最常用的Python深度學習庫介紹

13個最常用的Python深度學習庫介紹

如果你對深度學習和卷積神經網路感興趣，但是並不知道從哪裡開始，也不知道使用哪種庫，那麼這裡就為你提供了許多幫助。

在這篇文章里，我詳細解讀了9個我最喜歡的Python深度學習庫。

這個名單並不詳盡，它只是我在計算機視覺的職業生涯中使用並在某個時間段發現特別有用的一個庫的列表。

這其中的一些庫我比別人用的多很多，尤其是Keras、mxnet和sklearn-theano。

其他的一些我是間接的使用，比如Theano和TensorFlow（庫包括Keras、deepy和Blocks等）。

另外的我只是在一些特別的任務中用過（比如nolearn和他們的Deep Belief Network implementation）。

這篇文章的目的是向你介紹這些庫。我建議你認真了解這裡的每一個庫，然後在某個具體工作情境中你就可以確定一個最適用的庫。

我想再次重申，這份名單並不詳盡。此外，由於我是計算機視覺研究人員並長期活躍在這個領域，對卷積神經網路（細胞神經網路）方面的庫會關注更多。

我把這個深度學習庫的列表分為三個部分。

第一部分是比較流行的庫，你可能已經很熟悉了。對於這些庫，我提供了一個通俗的、高層次的概述。然後，針對每個庫我詳細解說了我的喜歡之處和不喜歡之處，並列舉了一些適當的應用案例。

第二部分進入到我個人最喜歡的深度學習庫，也是我日常工作中使用最多的，包括：Keras、mxnet和sklearn-theano等。

最後，我對第一部分中不經常使用的庫做了一個「福利」板塊，你或許還會從中發現有用的或者是在第二板塊中我還沒有嘗試過但看起來很有趣的庫。

接下來就讓我們繼續探索。

針對初學者：

Caffe

提到「深度學習庫」就不可能不說到Caffe。事實上，自從你打開這個頁面學習深度學習庫，我就敢打保票你肯定聽說Caffe。

那麼，究竟Caffe是什麼呢？

Caffe是由Berkeley Vision and Learning Center（BVLC）建立的深度學習框架。它是模塊化的，速度極快。而且被應用於學術界和產業界的start-of-the-art應用程序中。

事實上，如果你去翻閱最新的深度學習出版物（也提供源代碼），你就很可能會在它們相關的GitHub庫中找到Caffe模型。

雖然Caffe本身並不是一個Python庫，但它提供綁定到Python上的編程語言。我們通常在新領域開拓網路的時候使用這些綁定。

我把Caffe放在這個列表的原因是它幾乎被應用在各個方面。你可以在一個空白文檔里定義你的模型架構和解決方案，建立一個JSON文件類型的.prototxt配置文件。Caffe二進位文件提取這些.prototxt文件並培訓你的網路。Caffe完成培訓之後，你可以把你的網路和經過分類的新圖像通過Caffe二進位文件，更好的就直接通過Python或MATLAB的API。

雖然我很喜歡Caffe的性能（它每天可以在K40 GPU上處理60萬張圖片），但相比之下我更喜歡Keras和mxnet。

主要的原因是，在.prototxt文件內部構建架構可能會變得相當乏味和無聊。更重要的是， Caffe不能用編程方式調整超參數！由於這兩個原因，在基於Python的API中我傾向於對允許我實現終端到終端聯播網的庫傾斜（包括交叉驗證和調整超參數）。

Theano

在最開始我想說Theano是美麗的。如果沒有Theano，我們根本不會達到現有的深度學習庫的數量（特別是在Python）。同樣的，如果沒有numpy，我們就不會有SciPy、scikit-learn和 scikit-image,，同樣可以說是關於Theano和深度學習更高級別的抽象。

非常核心的是，Theano是一個Python庫，用來定義、優化和評估涉及多維數組的數學表達式。 Theano通過與numpy的緊密集成，透明地使用GPU來完成這些工作。

雖然可以利用Theano建立深度學習網路，但我傾向於認為Theano是神經網路的基石，同樣的numpy是作為科學計算的基石。事實上，大多數我在文章中提到的庫都是圍繞著Theano，使自己變得更加便利。

不要誤會我的意思，我愛Theano，我只是不喜歡用Theano編寫代碼。

在Theano建設卷積神經網路就像只用本機Python中的numpy寫一個定製的支持向量機（SVM），當然這個對比並不是很完美。

你可以做到嗎？

當然可以。

它值得花費您的時間和精力嗎？

嗯，也許吧。這取決於你是否想擺脫低級別或你的應用是否需要。

就個人而言，我寧願使用像Keras這樣的庫，它把Theano包裝成更有人性化的API，同樣的方式，scikit-learn使機器學習演算法工作變得更加容易。

TensorFlow

與Theano類似，TensorFlow是使用數據流圖進行數值計算的開源庫（這是所有神經網路固有的特徵）。最初由谷歌的機器智能研究機構內的Google Brain Team研究人員開發，此後庫一直開源，並提供給公眾。

相比於Theano ，TensorFlow的主要優點是分散式計算，特別是在多GPU的環境中（雖然這是Theano正在攻克的項目）。

除了用TensorFlow而不是Theano替換Keras後端，對於TensorFlow庫我並沒有太多的經驗。然而在接下來的幾個月里，我希望這有所改變。

Lasagne

Lasagne是Theano中用於構建和訓練網路的輕量級庫。這裡的關鍵詞是輕量級的，也就意味著它不是一個像Keras一樣圍繞著Theano的重包裝的庫。雖然這會導致你的代碼更加繁瑣，但它會把你從各種限制中解脫出來，同時還可以讓您根據Theano進行模塊化的構建。

簡而言之：Lasagne的功能是Theano的低級編程和Keras的高級抽象之間的一個折中。

我最喜歡的：

Keras

如果我必須選出一個最喜歡的深度學習Python庫，我將很難在Keras和mxnet中做出抉擇——但最後，我想我會選Keras。

說真的，Keras的好處我說都說不完。

Keras是一個最低限度的、模塊化的神經網路庫，可以使用Theano或TensorFlow作為後端。Keras最主要的用戶體驗是，從構思到產生結果將會是一個非常迅速的過程。

在Keras中架構網路設計是十分輕鬆自然的。它包括一些state-of-the-art中針對優化（Adam，RMSProp）、標準化（BatchNorm）和激活層（PReLU，ELU，LeakyReLU）最新的演算法。

Keras也非常注重卷積神經網路，這也是我十分需要的。無論它是有意還是無意的，我覺得從計算機視覺的角度來看這是非常有價值的。

更重要的是，你既可以輕鬆地構建基於序列的網路（其中輸入線性流經網路）又可以創建基於圖形的網路（輸入可以「跳過」某些層直接和後面對接）。這使得創建像GoogLeNet和SqueezeNet這樣複雜的網路結構變得容易得多。

我認為Keras唯一的問題是它不支持多GPU環境中並行地訓練網路。這可能會也可能不會成為你的大忌。

如果我想儘快地訓練網路，那麼我可能會使用mxnet。但是如果我需要調整超參數，我就會用Keras設置四個獨立的實驗（分別在我的Titan X GPUs上運行）並評估結果。

mxnet

我第二喜歡的深度學習Python庫無疑就是mxnet（重點也是訓練圖像分類網路）。雖然在mxnet中站立一個網路可能需要較多的代碼，但它會提供給你驚人數量的語言綁定（C ++、Python、R、JavaScript等）。

Mxnet庫真正出色的是分散式計算，它支持在多個CPU / GPU機訓練你的網路，甚至可以在AWS、Azure以及YARN集群。

它確實需要更多的代碼來設立一個實驗並在mxnet上運行（與Keras相比），但如果你需要跨多個GPU或系統分配訓練，我推薦mxnet。

sklearn-theano

有時候你並不需要終端到終端的培養一個卷積神經網路。相反，你需要把CNN看作一個特徵提取器。當你沒有足夠的數據來從頭培養一個完整的CNN時它就會變得特別有用。僅僅需要把你的輸入圖像放入流行的預先訓練架構，如OverFeat、AlexNet、VGGNet或GoogLeNet，然後從FC層提取特徵（或任何您要使用的層）。

總之，這就是sklearn-theano的功能所在。你不能用它從頭到尾的訓練一個模型，但它的神奇之處就是可以把網路作為特徵提取器。當需要評估一個特定的問題是否適合使用深度學習來解決時，我傾向於使用這個庫作為我的第一手判斷。

nolearn

我在PyImageSearch博客上用過幾次nolearn，主要是在我的MacBook Pro上進行一些初步的GPU實驗和在Amazon EC2 GPU實例中進行深度學習。

Keras把 Theano和TensorFlow包裝成了更具人性化的API，而nolearn也為Lasagne做了相同的事。此外，nolearn中所有的代碼都是與scikit-learn兼容的，這對我來說絕對是個超級的福利。

我個人不使用nolearn做卷積神經網路（CNNs），但你當然也可以用（我更喜歡用Keras和mxnet來做CNNs）。我主要用nolearn來製作Deep Belief Networks (DBNs)。

DIGITS

DIGITS並不是一個真正的深度學習庫（雖然它是用Python寫的）。DIGITS（深度學習GPU培訓系統）實際上是用於培訓Caffe深度學習模式的web應用程序（雖然我認為你可以破解源代碼然後使用Caffe以外其他的後端進行工作，但這聽起來就像一場噩夢）。

如果你曾經用過Caffe，那麼你就會知道通過它的終端來定義.prototxt文件、生成圖像數據、運行網路並監管你的網路訓練是相當繁瑣的。 DIGITS旨在通過讓你在瀏覽器中執行這些任務來解決這個問題。

此外，DIGITS的用戶界面非常出色，它可以為你提供有價值的統計數據和圖表作為你的模型訓練。另外，你可以通過各種輸入輕鬆地可視化網路中的激活層。最後，如果您想測試一個特定的圖像，您可以把圖片上傳到你的DIGITS伺服器或進入圖片的URL，然後你的Caffe模型將會自動分類圖像並把結果顯示在瀏覽器中。乾淨利落！

Blocks

說實話，雖然我一直想嘗試，但截至目前我的確從來沒用過Blocks（這也是我把它包括在這個列表裡的原因）。就像許多個在這個列表中的其他庫一樣，Blocks建立在Theano之上，呈現出一個用戶友好型的API。

deepy

如果讓你猜deepy是圍繞哪個庫建立的，你會猜什麼？

沒錯，就是Theano。

我記得在前一段時間用過deepy（做了初始提交），但在接下里的大概6-8個月我都沒有碰它了。我打算在接下來的博客文章里再嘗試一下。

pylearn2

雖然我從沒有主動地使用pylearn2，但由於歷史原因，我覺得很有必要把它包括在這個列表裡。 Pylearn2不僅僅是一般的機器學習庫（地位類似於scikit-learn），也包含了深度學習演算法的實現。

對於pylearn2我最大的擔憂就是（在撰寫本文時），它沒有一個活躍的開發者。正因為如此，相比於像Keras和mxnet這樣的有積極維護的庫，推薦pylearn2我還有些猶豫。

Deeplearning4j

這本應是一個基於Python的列表，但我想我會把Deeplearning4j包括在這裡，主要是出於對他們所做事迹的無比崇敬——Deeplearning4j為JVM建立了一個開源的、分散式的深度學習庫。

如果您在企業工作，你可能會有一個塞滿了用過的Hadoop和MapReduce伺服器的儲存器。也許這些你還在用，也許早就不用了。

你怎樣才能把這些相同的伺服器應用到深度學習里？

事實證明是可以的——你只需要Deeplearning4j。

總計

以上就是本文關於13個最常用的Python深度學習庫介紹的全部內容