python框架大亂斗（Python自動化框架）

本文目錄一覽：

• 1、Python的爬蟲框架有哪些？
• 2、Python幾種主流框架比較
• 3、八款常用的 Python GUI 開發框架推薦
• 4、乾貨分享!Python三大web框架簡單介紹

Python的爬蟲框架有哪些？

向大家推薦十個Python爬蟲框架。

 1、Scrapy：Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。它是很強大的爬蟲框架，可以滿足簡單的頁面爬取，比如可以明確獲知url pattern的情況。用這個框架可以輕鬆爬下來如亞馬遜商品信息之類的數據。但是對於稍微複雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。它的特性有：HTML, XML源數據 選擇及提取 的內置支持；提供了一系列在spider之間共享的可復用的過濾器(即 Item Loaders)，對智能處理爬取數據提供了內置支持。　

2、Crawley：高速爬取對應網站的內容，支持關係和非關係數據庫，數據可以導出為JSON、XML等。

3、Portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基於scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。

4、newspaper：可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。作者從requests庫的簡潔與強大得到靈感，使用Python開發的可用於提取文章內容的程序。支持10多種語言並且所有的都是unicode編碼。

5、Python-goose：Java寫的文章提取工具。Python-goose框架可提取的信息包括：文章主體內容、文章主要圖片、文章中嵌入的任何Youtube/Vimeo視頻、元描述、元標籤。

6、Beautiful Soup：名氣大，整合了一些常用爬蟲需求。它是一個可以從HTML或XML文件中提取數據的Python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節省數小時甚至數天的工作時間。Beautiful Soup的缺點是不能加載JS。

7、mechanize：它的優點是可以加載JS。當然它也有缺點，比如文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。

8、selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。Selenium是自動化測試工具，它支持各種瀏覽器，包括 Chrome，Safari，Firefox等主流界面式瀏覽器，如果在這些瀏覽器裡面安裝一個 Selenium 的插件，可以方便地實現Web界面的測試. Selenium支持瀏覽器驅動。Selenium支持多種語言開發，比如 Java，C，Ruby等等，PhantomJS 用來渲染解析JS，Selenium 用來驅動以及與Python的對接，Python進行後期的處理。

9、cola：是一個分布式的爬蟲框架，對於用戶來說，只需編寫幾個特定的函數，而無需關注分布式運行的細節。任務會自動分配到多台機器上，整個過程對用戶是透明的。項目整體設計有點糟，模塊間耦合度較高。

10、PySpider：一個國人編寫的強大的網絡爬蟲系統並帶有強大的WebUI。採用Python語言編寫，分布式架構，支持多種數據庫後端，強大的WebUI支持腳本編輯器，任務監視器，項目管理器以及結果查看器。Python腳本控制，可以用任何你喜歡的html解析包。

以上就是分享的Python爬蟲一般用的十大主流框架。這些框架的優缺點都不同，大家在使用的時候，可以根據具體場景選擇合適的框架。

Python幾種主流框架比較

從GitHub中整理出的15個最受歡迎的Python開源框架。這些框架包括事件I/O，OLAP，Web開發，高性能網絡通信，測試，爬蟲等。

Django: Python Web應用開發框架

Django 應該是最出名的Python框架，GAE甚至Erlang都有框架受它影響。Django是走大而全的方向，它最出名的是其全自動化的管理後台：只需要使用起ORM，做簡單的對象定義，它就能自動生成數據庫結構、以及全功能的管理後台。

Diesel：基於Greenlet的事件I/O框架

Diesel提供一個整潔的API來編寫網絡客戶端和服務器。支持TCP和UDP。

Flask：一個用Python編寫的輕量級Web應用框架

Flask是一個使用Python編寫的輕量級Web應用框架。基於Werkzeug WSGI工具箱和Jinja2

模板引擎。Flask也被稱為“microframework”，因為它使用簡單的核心，用extension增加其他功能。Flask沒有默認使用的數

據庫、窗體驗證工具。

Cubes：輕量級Python OLAP框架

Cubes是一個輕量級Python框架，包含OLAP、多維數據分析和瀏覽聚合數據（aggregated data）等工具。

Kartograph.py：創造矢量地圖的輕量級Python框架

Kartograph是一個Python庫，用來為ESRI生成SVG地圖。Kartograph.py目前仍處於beta階段，你可以在virtualenv環境下來測試。

Pulsar：Python的事件驅動並發框架

Pulsar是一個事件驅動的並發框架，有了pulsar，你可以寫出在不同進程或線程中運行一個或多個活動的異步服務器。

Web2py：全棧式Web框架

Web2py是一個為Python語言提供的全功能Web應用框架，旨在敏捷快速的開發Web應用，具有快速、安全以及可移植的數據庫驅動的應用，兼容Google App Engine。

Falcon：構建雲API和網絡應用後端的高性能Python框架

Falcon是一個構建雲API的高性能Python框架，它鼓勵使用REST架構風格，儘可能以最少的力氣做最多的事情。

Dpark：Python版的Spark

DPark是Spark的Python克隆，是一個Python實現的分布式計算框架，可以非常方便地實現大規模數據處理和迭代計算。DPark由豆瓣實現，目前豆瓣內部的絕大多數數據分析都使用DPark完成，正日趨完善。

Buildbot：基於Python的持續集成測試框架

Buildbot是一個開源框架，可以自動化軟件構建、測試和發布等過程。每當代碼有改變，服務器要求不同平台上的客戶端立即進行代碼構建和測試，收集並報告不同平台的構建和測試結果。

Zerorpc：基於ZeroMQ的高性能分布式RPC框架

Zerorpc是一個基於ZeroMQ和MessagePack開發的遠程過程調用協議（RPC）實現。和 Zerorpc 一起使用的 Service API 被稱為 zeroservice。Zerorpc 可以通過編程或命令行方式調用。

Bottle: 微型Python Web框架

Bottle是一個簡單高效的遵循WSGI的微型python Web框架。說微型，是因為它只有一個文件，除Python標準庫外，它不依賴於任何第三方模塊。

Tornado：異步非阻塞IO的Python Web框架

Tornado的全稱是Torado Web Server，從名字上看就可知道它可以用作Web服務器，但同時它也是一個Python Web的開發框架。最初是在FriendFeed公司的網站上使用，FaceBook收購了之後便開源了出來。

webpy: 輕量級的Python Web框架

webpy的設計理念力求精簡（Keep it simple and powerful），源碼很簡短，只提供一個框架所必須的東西，不依賴大量的第三方模塊，它沒有URL路由、沒有模板也沒有數據庫的訪問。

Scrapy：Python的爬蟲框架

Scrapy是一個使用Python編寫的，輕量級的，簡單輕巧，並且使用起來非常的方便。

八款常用的 Python GUI 開發框架推薦

作為Python開發者，你遲早都會用到圖形用戶界面來開發應用。本文將推薦一些 Python GUI 框架，希望對大家有所幫助。

Python 的 UI 開發工具包 Kivy

Kivy是一個開源工具包能夠讓使用相同源代碼創建的程序能跨平台運行。它主要關注創新型用戶界面開發，如：多點觸摸應用程序。Kivy還提供一個多點觸摸鼠標模擬器。當前支持的平台包括：Linux、Windows、Mac OS X和Android。

Kivy擁有能夠處理動畫、緩存、手勢、繪圖等功能。它還內置許多用戶界面控件如：按紐、攝影機、表格、Slider和樹形控件等。

Python 的 GUI 開發工具 Flexx

Flexx 是一個純 Python 工具包，用來創建圖形化界面應用程序。其使用 Web 技術進行界面的渲染。你可以用 Flexx 來創建桌面應用，同時也可以導出一個應用到獨立的 HTML 文檔。因為使用純 Python 開發，所以 Flexx 是跨平台的。只需要有 Python 和瀏覽器就可以運行。如果是使用桌面模式運行，推薦使用 Firefox 。

Qt 庫的 Python 綁定 PyQt

PyQt是Qt庫的Python版本。PyQt3支持Qt1到Qt3。 PyQt4支持Qt4。它的首次發布也是在1998年，但是當時它叫 PyKDE，因為開始的時候SIP和PyQt沒有分開。PyQt是用SIP寫的。PyQt 提供 GPL版和商業版。

Python圖形開發包 wxPython

wxPython 是 Python 語言的一套優秀的 GUI 圖形庫，允許 Python 程序員很方便的創建完整的、功能鍵全的 GUI 用戶界面。 wxPython 是作為優秀的跨平台 GUI 庫 wxWidgets 的 Python 封裝和 Python 模塊的方式提供給用戶的。

就如同Python和wxWidgets一樣，wxPython也是一款開源軟件，並且具有非常優秀的跨平台能力，能夠運行在32位windows、絕大多數的Unix或類Unix系統、Macintosh OS X上。

Tk 圖形用戶界面 Tkinter

Tkinter(也叫Tk接口)是Tk圖形用戶界面工具包標準的Python接口。Tk是一個輕量級的跨平台圖形用戶界面(GUI)開發工具。Tk和Tkinter可以運行在大多數的Unix平台、Windows、和Macintosh系統。

Tkinter 由一定數量的模塊組成。Tkinter位於一個名為_tkinter(較早的版本名為tkinter)的二進制模塊中 。Tkinter包含了對Tk的低 級接口模塊，低級接口並不會被應用級程序員直接使用，通常是一個共享庫(或DLL)，但是在一些情況下它也被Python解釋器靜態鏈接。

Pywin32

Windows Pywin32允許你像VC一樣的形式來使用PYTHON開發win32應用。代碼風格可以類似win32 sdk，也可以類似MFC，由你選擇。如果你仍不放棄vc一樣的代碼過程在python下，那麼這就是一個不錯的選擇。

Python 圖形界面開發包 PyGTK

PyGTK讓你用Python輕鬆創建具有圖形用戶界面的程序.底層的GTK+提供了各式的可視元素和功能,如果需要,你能開發在GNOME桌面系統運行的功能完整的軟件.

PyGTK真正具有跨平台性,它能不加修改地,穩定運行各種操作系統之上,如Linux,Windows,MacOS等.除了簡單易用和快速的原型開發能力外,PyGTK還有一流的處理本地化語言的獨特功能.

用python快速開發絢麗桌面程序 pyui4win

pyui4win是一個開源的採用自繪技術的界面庫。支持C++和python。用它可以很容易實現QQ和360安全衛士這樣的絢麗界面。而且，pyui4win有所見即所得界面設計器，讓C++開發人員和python開發人員直接用設計工具設計界面，而不用關心界面如何生成和運行，可以顯著縮短界面開發時間。在pyui4win中，界面甚至可以完全交給美工去處理，開發人員可以只負責處理業務邏輯，把開發人員徹底從繁雜的界面處理中解放出來。

以上就是為大家分享的八款常用的python GUI開發框架推薦，希望能對你有幫助。更多python學習資料，可以關注“武漢千鋒”微信公眾號。

乾貨分享!Python三大web框架簡單介紹

1、Django

Django是一個開放源代碼的Web應用框架，由Python寫成。採用了MTV的框架模式，即模型M，模板T和視圖V。它最初是被開發來用於管理勞倫斯出版集團旗下的一些以新聞內容為主的網站的，即是CMS(內容管理系統)軟件。

2、Flask

Flask是一個使用 Python 編寫的輕量級 Web 應用框架。其 WSGI 工具箱採用 Werkzeug ，模板引擎則使用 Jinja2 。Flask使用 BSD 授權。

Flask也被稱為 “microframework” ，因為它使用簡單的核心，用 extension 增加其他功能。Flask沒有默認使用的數據庫、窗體驗證工具。

Flask 很輕，花很少的成本就能夠開發一個簡單的網站。非常適合初學者學習。Flask 框架學會以後，可以考慮學習插件的使用。例如使用 WTForm + Flask-WTForm 來驗證表單數據，用 SQLAlchemy + Flask-SQLAlchemy 來對你的數據庫進行控制。

3、Tornado

Tornado是一種 Web 服務器軟件的開源版本。Tornado 和現在的主流 Web 服務器框架(包括大多數 Python 的框架)有着明顯的區別：它是非阻塞式服務器，而且速度相當快。

得利於其 非阻塞的方式和對epoll的運用，Tornado 每秒可以處理數以千計的連接，因此 Tornado 是實時 Web 服務的一個 理想框架。

關於乾貨分享!Python三大web框架簡單介紹，環球青藤小編就和大家分享到這裡了，學習是永無止境的，學習一項技能更是受益終身，所以，只要肯努力學，什麼時候開始都不晚。如果您還想繼續了解關於python編程的學習方法及素材等內容，可以點擊本站其他文章學習。