深入python進程間通信原理,python 進程通信

本文目錄一覽：

• 1、請問怎麼學習Python？
• 2、python socketserver和socket的區別
• 3、python能做什麼
• 4、python遍歷目錄就是這麼簡單
• 5、關於多個python文件共享數據
• 6、如何實現 C/C++ 與 Python 的通信

請問怎麼學習Python？

這裡整理了一份Python開發的學習路線，可按照這份大綱來安排學習計劃~

第一階段：專業核心基礎

階段目標：

1. 熟練掌握Python的開發環境與編程核心知識

2. 熟練運用Python面向對象知識進行程序開發

3. 對Python的核心庫和組件有深入理解

4. 熟練應用SQL語句進行數據庫常用操作

5. 熟練運用Linux操作系統命令及環境配置

6. 熟練使用MySQL，掌握數據庫高級操作

7. 能綜合運用所學知識完成項目

知識點：

Python編程基礎、Python面向對象、Python高級進階、MySQL數據庫、Linux操作系統。

1、Python編程基礎，語法規則，函數與參數，數據類型，模塊與包，文件IO，培養紮實的Python編程基本功，同時對Python核心對象和庫的編程有熟練的運用。

2、Python面向對象，核心對象，異常處理，多線程，網絡編程，深入理解面向對象編程，異常處理機制，多線程原理，網絡協議知識，並熟練運用於項目中。

3、類的原理，MetaClass，下劃線的特殊方法，遞歸，魔術方法，反射，迭代器，裝飾器，UnitTest，Mock。深入理解面向對象底層原理，掌握Python開發高級進階技術，理解單元測試技術。

4、數據庫知識，範式，MySQL配置，命令，建庫建表，數據的增刪改查，約束，視圖，存儲過程，函數，觸發器，事務，游標，PDBC，深入理解數據庫管理系統通用知識及MySQL數據庫的使用與管理。為Python後台開發打下堅實基礎。

5、Linux安裝配置，文件目錄操作，VI命令，管理，用戶與權限，環境配置，Docker，Shell編程Linux作為一個主流的服務器操作系統，是每一個開發工程師必須掌握的重點技術，並且能夠熟練運用。

第二階段：PythonWEB開發

階段目標：

1. 熟練掌握Web前端開發技術，HTML，CSS，JavaScript及前端框架

2. 深入理解Web系統中的前後端交互過程與通信協議

3. 熟練運用Web前端和Django和Flask等主流框架完成Web系統開發

4. 深入理解網絡協議，分布式，PDBC，AJAX，JSON等知識

5. 能夠運用所學知識開發一個MiniWeb框架，掌握框架實現原理

6. 使用Web開發框架實現貫穿項目

知識點：

Web前端編程、Web前端高級、Django開發框架、Flask開發框架、Web開發項目實戰。

1、Web頁面元素，布局，CSS樣式，盒模型，JavaScript，JQuery與Bootstrap掌握前端開發技術，掌握JQuery與BootStrap前端開發框架，完成頁面布局與美化。

2、前端開發框架Vue，JSON數據，網絡通信協議，Web服務器與前端交互熟練使用Vue框架，深入理解HTTP網絡協議，熟練使用Swagger，AJAX技術實現前後端交互。

3、自定義Web開發框架，Django框架的基本使用，Model屬性及後端配置，Cookie與Session，模板Templates，ORM數據模型，Redis二級緩存，RESTful，MVC模型掌握Django框架常用API，整合前端技術，開發完整的WEB系統和框架。

4、Flask安裝配置，App對象的初始化和配置，視圖函數的路由，Request對象，Abort函數，自定義錯誤，視圖函數的返回值，Flask上下文和請求鉤子，模板，數據庫擴展包Flask-Sqlalchemy，數據庫遷移擴展包Flask-Migrate，郵件擴展包Flask-Mail。掌握Flask框架的常用API，與Django框架的異同，並能獨立開發完整的WEB系統開發。

第三階段：爬蟲與數據分析

階段目標：

1. 熟練掌握爬蟲運行原理及常見網絡抓包工具使用，能夠對HTTP及HTTPS協議進行抓包分析

2. 熟練掌握各種常見的網頁結構解析庫對抓取結果進行解析和提取

3. 熟練掌握各種常見反爬機制及應對策略，能夠針對常見的反爬措施進行處理

4. 熟練使用商業爬蟲框架Scrapy編寫大型網絡爬蟲進行分布式內容爬取

5. 熟練掌握數據分析相關概念及工作流程

6. 熟練掌握主流數據分析工具Numpy、Pandas和Matplotlib的使用

7. 熟練掌握數據清洗、整理、格式轉換、數據分析報告編寫

8. 能夠綜合利用爬蟲爬取豆瓣網電影評論數據並完成數據分析全流程項目實戰

知識點：

網絡爬蟲開發、數據分析之Numpy、數據分析之Pandas。

1、爬蟲頁面爬取原理、爬取流程、頁面解析工具LXML，Beautifulfoup，正則表達式，代理池編寫和架構、常見反爬措施及解決方案、爬蟲框架結構、商業爬蟲框架Scrapy，基於對爬蟲爬取原理、網站數據爬取流程及網絡協議的分析和了解，掌握網頁解析工具的使用，能夠靈活應對大部分網站的反爬策略，具備獨立完成爬蟲框架的編寫能力和熟練應用大型商業爬蟲框架編寫分布式爬蟲的能力。

2、Numpy中的ndarray數據結構特點、numpy所支持的數據類型、自帶的數組創建方法、算術運算符、矩陣積、自增和自減、通用函數和聚合函數、切片索引、ndarray的向量化和廣播機制，熟悉數據分析三大利器之一Numpy的常見使用，熟悉ndarray數據結構的特點和常見操作，掌握針對不同維度的ndarray數組的分片、索引、矩陣運算等操作。

3、Pandas裡面的三大數據結構，包括Dataframe、Series和Index對象的基本概念和使用，索引對象的更換及刪除索引、算術和數據對齊方法，數據清洗和數據規整、結構轉換，熟悉數據分析三大利器之一Pandas的常見使用，熟悉Pandas中三大數據對象的使用方法，能夠使用Pandas完成數據分析中最重要的數據清洗、格式轉換和數據規整工作、Pandas對文件的讀取和操作方法。

4、matplotlib三層結構體系、各種常見圖表類型折線圖、柱狀圖、堆積柱狀圖、餅圖的繪製、圖例、文本、標線的添加、可視化文件的保存，熟悉數據分析三大利器之一Matplotlib的常見使用，熟悉Matplotlib的三層結構，能夠熟練使用Matplotlib繪製各種常見的數據分析圖表。能夠綜合利用課程中所講的各種數據分析和可視化工具完成股票市場數據分析和預測、共享單車用戶群里數據分析、全球幸福指數數據分析等項目的全程實戰。

第四階段：機器學習與人工智能

階段目標：

1. 理解機器學習相關的基本概念及系統處理流程

2. 能夠熟練應用各種常見的機器學習模型解決監督學習和非監督學習訓練和測試問題，解決回歸、分類問題

3. 熟練掌握常見的分類算法和回歸算法模型，如KNN、決策樹、隨機森林、K-Means等

4. 掌握卷積神經網絡對圖像識別、自然語言識別問題的處理方式，熟悉深度學習框架TF裡面的張量、會話、梯度優化模型等

5. 掌握深度學習卷積神經網絡運行機制，能夠自定義卷積層、池化層、FC層完成圖像識別、手寫字體識別、驗證碼識別等常規深度學習實戰項目

知識點：

1、機器學習常見算法、sklearn數據集的使用、字典特徵抽取、文本特徵抽取、歸一化、標準化、數據主成分分析PCA、KNN算法、決策樹模型、隨機森林、線性回歸及邏輯回歸模型和算法。熟悉機器學習相關基礎概念，熟練掌握機器學習基本工作流程，熟悉特徵工程、能夠使用各種常見機器學習算法模型解決分類、回歸、聚類等問題。

2、Tensorflow相關的基本概念，TF數據流圖、會話、張量、tensorboard可視化、張量修改、TF文件讀取、tensorflow playround使用、神經網絡結構、卷積計算、激活函數計算、池化層設計，掌握機器學習和深度學習之前的區別和練習，熟練掌握深度學習基本工作流程，熟練掌握神經網絡的結構層次及特點，掌握張量、圖結構、OP對象等的使用，熟悉輸入層、卷積層、池化層和全連接層的設計，完成驗證碼識別、圖像識別、手寫輸入識別等常見深度學習項目全程實戰。

python socketserver和socket的區別

區別：

1.首先介紹下socket

socket的英文原義是“孔”或“插座”。作為BSD UNIX的進程通信機制，取後一種意思。通常也

稱作”套接字”，用於描述IP地址和端口，是一個通信鏈的句柄，可以用來實現不同虛擬機或不同計算機之間的通信。在Internet上的主機一 般運行了多個服務軟件，同時提供幾種服務。每種服務都打開一個Socket，並綁定到一個端口上，不同的端口對應於不同的服務。Socket正如其英文原 意那樣，像一個多孔插座。一台主機猶如布滿各種插座的房間，每個插座有一個編號，有的插座提供220伏交流電， 有的提供110伏交流電，有的則提供有線電視節目。 客戶軟件將插頭插到不同編號的插座，就可以得到不同的服務

2、連接原理

根據連接啟動的方式以及本地套接字要連接的目標，套接字之間的連接過程可以分為三個步驟：服務器監聽，客戶端請求，連接確認。

（1）服務器監聽：是服務器端套接字並不定位具體的客戶端套接字，而是處於等待連接的狀態，實時監控網絡狀態。

（2）客戶端請求：是指由客戶端的套接字提出連接請求，要連接的目標是服務器端的套接字。為此，客戶端的套接字必須首先描述它要連接的服務器的套接字，指出服務器端套接字的地址和端口號，然後就向服務器端套接字提出連接請求。

（3）連接確認：是指當服務器端套接字監聽到或者說接收到客戶端套接字的連接請求，它就響應客戶端套接字的請求，建立一個新的線程，把服務器端套接 字的描述發給客戶端，一旦客戶端確認了此描述，連接就建立好了。而服務器端套接字繼續處於監聽狀態，繼續接收其他客戶端套接字的連接請求。

案例

1、最簡單的web服務器

2、簡單的聊天工具

（1）service端

（2）client端

3、更多功能

更多功能

sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0)

參數一：地址簇

socket.AF_INET IPv4（默認）

socket.AF_INET6 IPv6

socket.AF_UNIX 只能夠用於單一的Unix系統進程間通信

參數二：類型

socket.SOCK_STREAM流式socket , for TCP （默認）

socket.SOCK_DGRAM 數據報式socket , for UDP

socket.SOCK_RAW 原始套接字，普通的套接字無法處理ICMP、IGMP等網絡報文，而

SOCK_RAW可以；其次，SOCK_RAW也可以處理特殊的IPv4報文；此外，利用原始套接字，可以

通過IP_HDRINCL套接字選項由用戶構造IP頭。

socket.SOCK_RDM 是一種可靠的UDP形式，即保證交付數據報但不保證順序。

SOCK_RAM用來提供對原始協議的低級訪問，在需要執行某些特殊操作時使用，

如發送ICMP報文。SOCK_RAM通常僅限於高級用戶或管理員運行的程序使用。

socket.SOCK_SEQPACKET 可靠的連續數據包服務

參數三：協議

0（默認）與特定的地址家族相關的協議,如果是 0 ，

則系統就會根據地址格式和套接類別,自動選擇一個合適的協議

sk.bind(address)

s.bind(address) 將套接字綁定到地址。address地址的格式取決於地址族。

在AF_INET下，以元組（host,port）的形式表示地址。

sk.listen(backlog)

開始監聽傳入連接。backlog指定在拒絕連接之前，可以掛起的最大連接數量。

backlog等於5，表示內核已經接到了連接請求，但服務器還沒有調用accept進行處理的

連接個數最大為5,這個值不能無限大，因為要在內核中維護連接隊列

sk.setblocking(bool)

是否阻塞（默認True），如果設置False，那麼accept和recv時一旦無數據，則報錯。

sk.accept()

接受連接並返回（conn,address）,其中conn是新的套接字對象，可以用來接收

和發送數據。address是連接客戶端的地址。接收TCP 客戶的連接（阻塞式）等待連接的到來

sk.connect(address)

連接到address處的套接字。一般，address的格式為元組（hostname,port）,

如果連接出錯，返回socket.error錯誤。

sk.connect_ex(address)

同上，只不過會有返回值，連接成功時返回 0 ，連接失敗時候返回編碼，例如：10061

sk.close()

關閉套接字

sk.recv(bufsize[,flag])

接受套接字的數據。數據以字符串形式返回，bufsize指定最多可以接收的數量。

flag提供有關消息的其他信息，通常可以忽略。

sk.recvfrom(bufsize[.flag])

與recv()類似，但返回值是（data,address）。其中data是包含接收數據的字符串，

address是發送數據的套接字地址。

sk.send(string[,flag])

將string中的數據發送到連接的套接字。返回值是要發送的字節數量，

該數量可能小於string的字節大小。即：可能未將指定內容全部發送。

sk.sendall(string[,flag])

將string中的數據發送到連接的套接字，但在返回之前會嘗試發送所有數據。

成功返回None，失敗則拋出異常。

內部通過遞歸調用send，將所有內容發送出去。

sk.sendto(string[,flag],address)

將數據發送到套接字，address是形式為（ipaddr，port）的元組，指定遠程地址。

返回值是發送的字節數。該函數主要用於UDP協議。

sk.settimeout(timeout)

設置套接字操作的超時期，timeout是一個浮點數，單位是秒。值為None表示沒有超時期。

一般，超時期應該在剛創建套接字時設置，因為它們可能用於連接的操作

（如 client 連接最多等待5s ）

sk.getpeername()

返回連接套接字的遠程地址。返回值通常是元組（ipaddr,port）。

sk.getsockname()

返回套接字自己的地址。通常是一個元組(ipaddr,port)

sk.fileno()

套接字的文件描述符

二、socket server

SocketServer內部使用 IO多路復用 以及 “多線程” 和 “多進程” ，從而實現並發處理多個客戶端請求的Socket服務端。即：每個客戶端請求連接到服務器時，Socket服務端都會在服務器是創建一個“線程”或者“進 程” 專門負責處理當前客戶端的所有請求。

註：導入模塊的時候 3.x版本是socketserver 2.x版本是SocketServer

1.ThreadingTCPServer

ThreadingTCPServer實現的Soket服務器內部會為每個client創建一個 “線程”，該線程用來和客戶端進行交互。

ThreadingTCPServer基礎

使用ThreadingTCPServer:

創建一個繼承自 SocketServer.BaseRequestHandler 的類

類中必須定義一個名稱為 handle 的方法

啟動ThreadingTCPServer

服務端

客戶端

內部調用流程為：

啟動服務端程序

執行 TCPServer.init 方法，創建服務端Socket對象並綁定 IP 和 端口

執行 BaseServer.init 方法，將自定義的繼承自SocketServer.BaseRequestHandler 的類 – MyRequestHandle賦值給 self.RequestHandlerClass

執行 BaseServer.server_forever 方法，While 循環一直監聽是否有客戶端請求到達 …

當客戶端連接到達服務器

執行 ThreadingMixIn.process_request 方法，創建一個 “線程” 用來處理請求

執行 ThreadingMixIn.process_request_thread 方法

執行 BaseServer.finish_request 方法，執行 self.RequestHandlerClass() 即：執行 自定義 MyRequestHandler 的構造方法（自動調用基類BaseRequestHandler的構造方法，在該構造方法中又會調用 MyRequestHandler的handle方法）

ForkingTCPServer

ForkingTCPServer和ThreadingTCPServer的使用和執行流程基本一致，只不過在內部分別為請求者建立 “線程” 和 “進程”。

python能做什麼

python的用途：

Python的優勢有必要作為第一步去了解，Python作為面向對象的腳本語言，優勢就是數據處理和挖掘，這也註定了它和AI、互聯網技術的緊密聯繫。

網絡爬蟲。顧名思義，從互聯網上爬取信息的腳本，主要由urllib、requests等庫編寫，實用性很強，小編就曾寫過爬取5w數據量的爬蟲。在大數據風靡的時代，爬蟲絕對是新秀。

人工智能。AI使Python一戰成名，AI的實現可以通過tensorflow庫。神經網絡的核心在於激活函數、損失函數和數據，數據可以通過爬蟲獲得。訓練時大量的數據運算又是Python的show time。

擴展資料：

Python開發人員盡量避開不成熟或者不重要的優化。一些針對非重要部位的加快運行速度的補丁通常不會被合併到Python內。在某些對運行速度要求很高的情況，Python設計師傾向於使用JIT技術，或者用使用C/C++語言改寫這部分程序。可用的JIT技術是PyPy。

Python是完全面向對象的語言。函數、模塊、數字、字符串都是對象。並且完全支持繼承、重載、派生、多繼承，有益於增強源代碼的復用性。

Python支持重載運算符和動態類型。相對於Lisp這種傳統的函數式編程語言，Python對函數式設計只提供了有限的支持。有兩個標準庫(functools, itertools)提供了Haskell和Standard ML中久經考驗的函數式程序設計工具。

參考資料來源：百度百科-Python

python遍歷目錄就是這麼簡單

有時我們有列出目錄下都有哪些文件和子目錄的需求，這種情況是有現成命令可用的，比如windows下的dir命令，linux下的ls命令都可以，那我們用python代碼怎麼實現呢？

我們利用python豐富的庫很容易就能實現一個簡易版本，下面我們就用4種方法來實現它。

一、使用os.popen

os.popen工作原理是新建一個子進程，然後用這個子進程執行命令，父進程與子進程間通過管道進行通信。

根據調用popen時的傳參，我們可以通過管道讀取子進程的輸出也可以向子進程寫數據，默認是讀取子進程的輸出。

從以上描述可以看出popen是非常通用的，不是只能用於我們這個例子哦。

那我們開始用它實現我們的需求吧，代碼如下：

哈哈，是不是很簡單，這種方式雖然能達到目的但其實並不是我們想要的，我們本來就是要實現ls的，結果調用了ls，所以嚴格意義上來說我們並沒有實現ls，那讓我們繼續往下看其它方法吧，嘿嘿。

二、使用glob.glob

glob可以根據你使用的通配符對文件進行匹配，利用這個特性我們可以列出當前目錄下都有哪些文件和子目錄，如下代碼：

三、使用os.listdir

os.listdir同樣可以列出某個目錄下都有哪些文件和子目錄，如下代碼：

四、使用os.walk

os.walk在遍歷目錄方面非常強大，它不但可以遍歷你需要的目錄，也可以遞歸遍歷子目錄且遞歸的深度可以用代碼控制，下面讓我們分別看下怎麼遍歷整個目錄樹以及怎麼控制深度吧。

os.walk默認是遍歷整個目錄樹的，如下代碼就會遞歸打印出當前目錄下所有文件：

那我們怎麼控制遍歷的深度，比如只遍歷n層呢？其實很簡單，只需要定義一個深度變量，然後到達n後跳出循環即可，如下代碼就只遍歷1層：

至此我們已經寫完4種方法了，如果你還有其他方法，歡迎評論交流。

關於多個python文件共享數據

簡單。一個是通過線程同步。另一個就是全局變量global，加上這個修飾就可以了。python一個進程里的所有東西，都是在一個內存空間的。只要加了global就可以訪問。可以用這個全局變量通訊，效果也是一樣的。python一個進程只用一個CPU核。所以不存在樓下說的地址空間不一樣的問題。

進程間同步也有幾個方法。通常使用共享內存，管道，不過最常用的還是socket或者是數據庫。還有些分布式組件不是很好用。我通常用mutliprocessing，裡面有現成的進程通信辦法。

看到你的需求。我覺着可以用兩個變量，一個變量記錄修改狀態，另一個變量要求先鎖再進行修改。目前看來如果僅僅是python里實現。直接使用memcache這個工具就可以解決。一個程序讀寫，其它的程序只需要輪洵就可以了。從原理上講memcache是一個內存數據庫。

如何實現 C/C++ 與 Python 的通信

屬於混合編程的問題。較全面的介紹一下，不僅限於題主提出的問題。

以下討論中，Python指它的標準實現，即CPython（雖然不是很嚴格）

本文分4個部分

C/C++ 調用 Python （基礎篇）— 僅討論Python官方提供的實現方式

Python 調用 C/C++ （基礎篇）— 僅討論Python官方提供的實現方式

C/C++ 調用 Python （高級篇）— 使用 Cython

Python 調用 C/C++ （高級篇）— 使用 SWIG

練習本文中的例子，需要搭建Python擴展開發環境。具體細節見搭建Python擴展開發環境 – 蛇之魅惑 – 知乎專欄

1 C/C++ 調用 Python（基礎篇）

Python 本身就是一個C庫。你所看到的可執行體python只不過是個stub。真正的python實體在動態鏈接庫里實現，在Windows平台上，這個文件位於 %SystemRoot%\System32\python27.dll。

你也可以在自己的程序中調用Python，看起來非常容易：

//my_python.c

#include Python.h

int main(int argc, char *argv[])

{

Py_SetProgramName(argv[0]);

Py_Initialize();

PyRun_SimpleString(“print ‘Hello Python!’\n”);

Py_Finalize();

return 0;

}

在Windows平台下，打開Visual Studio命令提示符，編譯命令為

cl my_python.c -IC:\Python27\include C:\Python27\libs\python27.lib

在Linux下編譯命令為

gcc my_python.c -o my_python -I/usr/include/python2.7/ -lpython2.7

在Mac OS X 下的編譯命令同上

產生可執行文件後，直接運行，結果為輸出

Hello Python!

Python庫函數PyRun_SimpleString可以執行字符串形式的Python代碼。

雖然非常簡單，但這段代碼除了能用C語言動態生成一些Python代碼之外，並沒有什麼用處。我們需要的是C語言的數據結構能夠和Python交互。

下面舉個例子，比如說，有一天我們用Python寫了一個功能特彆強大的函數：

def great_function(a):

return a + 1

接下來要把它包裝成C語言的函數。我們期待的C語言的對應函數應該是這樣的：

int great_function_from_python(int a) {

int res;

// some magic

return res;

}

首先，復用Python模塊得做‘import’，這裡也不例外。所以我們把great_function放到一個module里，比如說，這個module名字叫 great_module.py

接下來就要用C來調用Python了，完整的代碼如下：

#include Python.h

int great_function_from_python(int a) {

int res;

PyObject *pModule,*pFunc;

PyObject *pArgs, *pValue;

/* import */

pModule = PyImport_Import(PyString_FromString(“great_module”));

/* great_module.great_function */

pFunc = PyObject_GetAttrString(pModule, “great_function”);

/* build args */

pArgs = PyTuple_New(1);

PyTuple_SetItem(pArgs,0, PyInt_FromLong(a));

/* call */

pValue = PyObject_CallObject(pFunc, pArgs);

res = PyInt_AsLong(pValue);

return res;

}

從上述代碼可以窺見Python內部運行的方式：

所有Python元素，module、function、tuple、string等等，實際上都是PyObject。C語言里操縱它們，一律使用PyObject *。

Python的類型與C語言類型可以相互轉換。Python類型XXX轉換為C語言類型YYY要使用PyXXX_AsYYY函數；C類型YYY轉換為Python類型XXX要使用PyXXX_FromYYY函數。

也可以創建Python類型的變量，使用PyXXX_New可以創建類型為XXX的變量。

若a是Tuple，則a[i] = b對應於 PyTuple_SetItem(a,i,b)，有理由相信還有一個函數PyTuple_GetItem完成取得某一項的值。

不僅Python語言很優雅，Python的庫函數API也非常優雅。

現在我們得到了一個C語言的函數了，可以寫一個main測試它

#include Python.h

int great_function_from_python(int a);

int main(int argc, char *argv[]) {

Py_Initialize();

printf(“%d”,great_function_from_python(2));

Py_Finalize();

}

編譯的方式就用本節開頭使用的方法。

在Linux/Mac OSX運行此示例之前，可能先需要設置環境變量：

bash:

export PYTHONPATH=.:$PYTHONPATH

csh:

setenv PYTHONPATH .:$PYTHONPATH

2 Python 調用 C/C++（基礎篇）

這種做法稱為Python擴展。

比如說，我們有一個功能強大的C函數：

int great_function(int a) {

return a + 1;

}

期望在Python里這樣使用：

from great_module import great_function

great_function(2)

3

考慮最簡單的情況。我們把功能強大的函數放入C文件 great_module.c 中。

#include Python.h

int great_function(int a) {

return a + 1;

}

static PyObject * _great_function(PyObject *self, PyObject *args)

{

int _a;

int res;

if (!PyArg_ParseTuple(args, “i”, _a))

return NULL;

res = great_function(_a);

return PyLong_FromLong(res);

}

static PyMethodDef GreateModuleMethods[] = {

{

“great_function”,

_great_function,

METH_VARARGS,

“”

},

{NULL, NULL, 0, NULL}

};

PyMODINIT_FUNC initgreat_module(void) {

(void) Py_InitModule(“great_module”, GreateModuleMethods);

}

除了功能強大的函數great_function外，這個文件中還有以下部分：

包裹函數_great_function。它負責將Python的參數轉化為C的參數（PyArg_ParseTuple），調用實際的great_function，並處理great_function的返回值，最終返回給Python環境。

導

出表GreateModuleMethods。它負責告訴Python這個模塊里有哪些函數可以被Python調用。導出表的名字可以隨便起，每一項有4

個參數：第一個參數是提供給Python環境的函數名稱，第二個參數是_great_function，即包裹函數。第三個參數的含義是參數變長，第四個

參數是一個說明性的字符串。導出表總是以{NULL, NULL, 0, NULL}結束。

導出函數initgreat_module。這個的名字不是任取的，是你的module名稱添加前綴init。導出函數中將模塊名稱與導出表進行連接。

在Windows下面，在Visual Studio命令提示符下編譯這個文件的命令是

cl /LD great_module.c /o great_module.pyd -IC:\Python27\include C:\Python27\libs\python27.lib

/LD 即生成動態鏈接庫。編譯成功後在當前目錄可以得到 great_module.pyd（實際上是dll）。這個pyd可以在Python環境下直接當作module使用。

在Linux下面，則用gcc編譯：

gcc -fPIC -shared great_module.c -o great_module.so -I/usr/include/python2.7/ -lpython2.7

在當前目錄下得到great_module.so，同理可以在Python中直接使用。

本部分參考資料

《Python源碼剖析-深度探索動態語言核心技術》是系統介紹CPython實現以及運行原理的優秀教程。

Python 官方文檔的這一章詳細介紹了C/C++與Python的雙向互動Extending and Embedding the Python Interpreter

關於編譯環境，本文所述方法僅為出示原理所用。規範的方式如下：3. Building C and C++ Extensions with distutils

作為字典使用的官方參考文檔 Python/C API Reference Manual

用以上的方法實現C/C++與Python的混合編程，需要對Python的內部實現有相當的了解。接下來介紹當前較為成熟的技術Cython和SWIG。

3 C/C++ 調用 Python（使用Cython）

在

前面的小節中談到，Python的數據類型和C的數據類型貌似是有某種“一一對應”的關係的，此外，由於Python（確切的說是CPython）本身是

由C語言實現的，故Python數據類型之間的函數運算也必然與C語言有對應關係。那麼，有沒有可能“自動”的做替換，把Python代碼直接變成C代碼

呢？答案是肯定的，這就是Cython主要解決的問題。

安裝Cython非常簡單。Python 2.7.9以上的版本已經自帶easy_install：

easy_install -U cython

在Windows環境下依然需要Visual

Studio，由於安裝的過程需要編譯Cython的源代碼，故上述命令需要在Visual

Studio命令提示符下完成。一會兒使用Cython的時候，也需要在Visual

Studio命令提示符下進行操作，這一點和第一部分的要求是一樣的。

繼續以例子說明：

#great_module.pyx

cdef public great_function(a,index):

return a[index]

這其中有非Python關鍵字cdef和public。這些關鍵字屬於Cython。由於我們需要在C語言中使用

“編譯好的Python代碼”，所以得讓great_function從外面變得可見，方法就是以“public”修飾。而cdef類似於Python的

def，只有使用cdef才可以使用Cython的關鍵字public。

這個函數中其他的部分與正常的Python代碼是一樣的。

接下來編譯 great_module.pyx

cython great_module.pyx

得到great_module.h和great_module.c。打開great_module.h可以找到這樣一句聲明：

__PYX_EXTERN_C DL_IMPORT(PyObject) *great_function(PyObject *, PyObject *)

寫一個main使用great_function。注意great_function並不規定a是何種類型，它的

功能只是提取a的第index的成員而已，故使用great_function的時候，a可以傳入Python

String，也可以傳入tuple之類的其他可迭代類型。仍然使用之前提到的類型轉換函數PyXXX_FromYYY和PyXXX_AsYYY。

//main.c

#include Python.h

#include “great_module.h”

int main(int argc, char *argv[]) {

PyObject *tuple;

Py_Initialize();

initgreat_module();

printf(“%s\n”,PyString_AsString(

great_function(

PyString_FromString(“hello”),

PyInt_FromLong(1)

)

));

tuple = Py_BuildValue(“(iis)”, 1, 2, “three”);

printf(“%d\n”,PyInt_AsLong(

great_function(

tuple,

PyInt_FromLong(1)

)

));

printf(“%s\n”,PyString_AsString(

great_function(

tuple,

PyInt_FromLong(2)

)

));

Py_Finalize();

}

編譯命令和第一部分相同：

在Windows下編譯命令為

cl main.c great_module.c -IC:\Python27\include C:\Python27\libs\python27.lib

在Linux下編譯命令為

gcc main.c great_module.c -o main -I/usr/include/python2.7/ -lpython2.7

這個例子中我們使用了Python的動態類型特性。如果你想指定類型，可以利用Cython的靜態類型關鍵字。例子如下：

#great_module.pyx

cdef public char great_function(const char * a,int index):

return a[index]

cython編譯後得到的.h里，great_function的聲明是這樣的：

__PYX_EXTERN_C DL_IMPORT(char) great_function(char const *, int);

很開心對不對！

這樣的話，我們的main函數已經幾乎看不到Python的痕迹了：

//main.c

#include Python.h

#include “great_module.h”

int main(int argc, char *argv[]) {

Py_Initialize();

initgreat_module();

printf(“%c”,great_function(“Hello”,2));

Py_Finalize();

}

在這一部分的最後我們給一個看似實用的應用（僅限於Windows）：

還是利用剛才的great_module.pyx，準備一個dllmain.c：

#include Python.h

#include Windows.h

#include “great_module.h”

extern __declspec(dllexport) int __stdcall _great_function(const char * a, int b) {

return great_function(a,b);

}

BOOL WINAPI DllMain(HINSTANCE hinstDLL,DWORD fdwReason,LPVOID lpReserved) {

switch( fdwReason ) {

case DLL_PROCESS_ATTACH:

Py_Initialize();

initgreat_module();

break;

case DLL_PROCESS_DETACH:

Py_Finalize();

break;

}

return TRUE;

}

在Visual Studio命令提示符下編譯：

cl /LD dllmain.c great_module.c -IC:\Python27\include C:\Python27\libs\python27.lib

會得到一個dllmain.dll。我們在Excel裡面使用它，沒錯，傳說中的Excel與Python混合編程：

參考資料：Cython的官方文檔，質量非常高：

Welcome to Cython’s Documentation

出自：Jerry Jho