python請求中的curl（python接收HTTP請求）

本文目錄一覽：

• 1、python 執行curl系統命令為什麼會返回進度條
• 2、Curl.是什麼意思
• 3、如何利用cURL和python對服務端和web端進行接口測試

python 執行curl系統命令為什麼會返回進度條

試試用os.popen()來執行。popen()可以返回執行結果信息。ret_msg = os.popen(command)通過python執行系統命令時，最要注意路徑問題。不論是文件還是目錄一定要寫全路徑，不要用相對路徑。

Curl.是什麼意思

cURL是一個利用URL語法在命令行下工作的文件傳輸工具，1997年首次發行。它支持文件上傳和下載，所以是綜合傳輸工具，但按傳統，習慣稱cURL為下載工具。

cURL支持的通信協議有FTP、FTPS、HTTP、HTTPS、TFTP、SFTP、Gopher、SCP、Telnet、DICT、FILE、LDAP、LDAPS、IMAP、POP3、SMTP和RTSP。

擴展資料：

一、PHP cURL 函數

PHP支持的由Daniel Stenberg創建的libcurl庫允許你與各種的服務器使用各種類型的協議進行連接和通訊。libcurl支持http、https、ftp、gopher、telnet、dict、file和ldap協議。

libcurl同時也支持HTTPS認證、HTTP POST、HTTP PUT、 FTP 上傳(這個也能通過PHP的FTP擴展完成)、HTTP 基於表單的上傳、代理、cookies和用戶名+密碼的認證。

二、表單提交

通過Form表單，可以將Web頁面的表單數據提交到服務端。提交表單時，可以使用GET或POST提交方法。curl同樣支持表單數據提交，也可以使用GET或POST提交方法。

1、GET數據提交

當全用GET表單數據提交時，提交數據會被附加到請求URL的後面。類型如下：

$ curl ‘//itbilu.com/?keyword=linuxpage=3’

使用curl進行GET數據提交時，也可以直接把提交數據添加到URL後面：

curl ;page=3

2、POST數據提交

curl使用POST提交表單數據時，除了-X參數指定請求方法外，還要使用–data參數添加提交數據：

$ curl -X POST –data ‘keyword=linux’ itbilu.com

參考資料來源：百度百科-curl

如何利用cURL和python對服務端和web端進行接口測試

工具描述

cURL是利用URL語法在命令行方式下工作的文件傳輸工具，是開源愛好者編寫維護的免費工具，支持包括Windows、Linux、Mac等數十個操作系統，最新版本為7.27.0，但是我推薦大家使用7.26.0，從這裡可以下載7.26.0版本。

以下是官方介紹的翻譯：

cURL是一個使用URL語法來傳輸數據的命令行工具，支持

DICT，FILE，FTP，FTPS，GOPHER，HTTP，HTTPS，IMAP，IMAPS，LDAP，LDAPS，POP3，POP3S，RTMP，RTSP，SCP，SFTP，SMTP，SMTPS，Telnet

和TFTP。 cURL支持SSL證書，HTTP POST，HTTP

PUT，FTP上傳，HTTP基礎表單上傳，代理，cookies，用戶+密碼身份驗證（Basic, Digest, NTLM,

Negotiate, kerberos…），恢復文件傳輸，隧道代理等等。

Python是一種面向對象、直譯式計算機程序設計語言，由Guido van Rossum於1989年底發明，它的強大和易用就無需多做說明了，在web開發中或者對開發速度要求較高的開發中應用十分廣，不過因為屬於腳本類語言，它的性能始終比不上C++、C等語言。

本文主要利用實例說明這兩款工具的在測試中的部分用途，更多用法留待大家繼續探索。

應用場景

使用cURL模擬客戶端對服務端進行查詢

在進行接口測試時，應該先找開發人員提供接口列表和對應參數，這樣測試的時候就可以驗證測試方法是否正確，不過如果可以用瀏覽器模擬操作的話，也可以自己先試試的，後面的例子會提到。

首先使用客戶端訪問需要測試的服務端接口，用wireshark抓包結果如下：

把查詢字符串以multipart方式post數據到服務器的file_health_info.php接口。

Tips：

Windows版的cURL不像Linux或者Mac一樣屬於系統自帶工具，需要下載，如果要在命令提示符下使用就需要跳轉到工具所在目錄下才能運

行，十分麻煩，我們可以直接把這個工具文件放到Windows目錄下，這樣無論在哪個目錄都可以直接使用“curl”命令運行工具了。

cURL默認就是以post方式發送數據的，所以只需要加入multipart方式就可以了，-F在cURL幫助中的解釋是：

-F, –form CONTENT Specify HTTP multipart POST data (H)

–form-string STRING Specify HTTP multipart POST data (H)

–ftp-account DATA Account data string (F)

–ftp-alternative-to-user COMMAND String to replace “USER [name]” (F)

–ftp-create-dirs Create the remote dirs if not present (F)

–ftp-method [MULTICWD/NOCWD/SINGLECWD] Control CWD usage (F)

–ftp-pasv Use PASV/EPSV instead of PORT (F)

Specify HTTP multipart POST data正好滿足我們的要求，所以模擬的語句是：

curl -F “newmd5=3bcad21af5f17c1fbff419137297c942###25016566###d:\test.exe###1###”

後面的都是參數，測試前就要找開發確認好。

不過因為服務端支持以gzip方式返回數據，所以我們還可以在請求中加入—compressed參數，即是：

curl –compressed -F “newmd5=3bcad21af5f17c1fbff419137297c942###25016566###d:\test.exe###1###”

為了更好判斷服務端接口是否正常，除了對返回數據進行判斷外，我們還需要對服務端返回的數據包頭進行解析，所以還可以在cURL請求中加入-i參數，最終這個測試語句就變為：

curl –i –compressed -F “newmd5=3bcad21af5f17c1fbff419137297c942###25016566###d:\test.exe###1###”

模擬完成後就要考慮判斷返回值的事了，我們首先在命令提示符下運行這個語句，看看返回值。

運行以上命令後，返回的數據如下：

HTTP/1.1 100 Continue

HTTP/1.1 200 OK

Date: Fri, 24 Aug 2012 07:47:45 GMT

Content-Type: application/xml

Transfer-Encoding: chunked

Connection: keep-alive

Server: 360 web server

Content-Encoding: gzip

?xml version=”1.0″ encoding=”GBK” ?

ret

retinfo code=”0″ msg=”Operation success” total=”1″ success=”1″ empty=”0″

cost=”999.92752075195″/

softs

soft

md53bcad21af5f17c1fbff419137297c942/md5

sha1/sha1

level4040/level

e_level40.3/e_level

size/size

soft_name![CDATA[]] /soft_name

describ![CDATA[]]/describ

file_desc![CDATA[]]/file_desc

upload0/upload

attr_upload2/attr_upload

class![CDATA[private]]/class

malware![CDATA[cloud.virus]]/malware

is_sys_file0/is_sys_file

is_rep0/is_rep

age0/age

pop0/pop

/soft

/softs

/ret

數據包包頭是常見的，一般來說，我們只要判斷包頭中含有“HTTP/1.1 200

OK”就可以確定服務端正常返回了數據。另外從內容可以看到這是一個xml格式的數據包，我們只需要判斷是否存在關鍵的字段即可，比

如level，確定這些之後我們就可以在python中添加如下案例代碼了：

首先運行指定的curl命令：

response = os.popen(‘‘‘curl -i –compressed -F “newmd5=3bcad21af5f17c1fbff419137297c942###25016566###d:\test.exe###1###”

然後判斷返回值中是否存在我們想要的字段：

self.assertNotEqual(response.find(‘HTTP/1.1 200 OK‘),-1)

self.assertNotEqual(response.find(‘level‘),-1)

上面的內容看起來差不多可以了，但實際還不夠嚴謹，因為服務端返回的這些數據是從數據庫中獲取的，所以我們還需要查詢數據庫獲取指定值，判斷是否和數據包中的一致，比如level：

首先使用python登錄數據庫服務器：

conn = MySQLdb.connect(host=‘172.22.54.31‘, user=‘user‘,passwd=‘test321‘,db=‘cloud‘)

cursor = conn.cursor()

count = cursor.execute(‘SELECT plevel FROM file where md5=”3bcad21af5f17c1fbff419137297c942″‘)

result = cursor.fetchone()

然後判斷返回值中的level是否數據庫中的值：

self.assertNotEqual(response.find(‘‘‘level%s/level‘‘‘%result[0]),-1)

測試時除了使用cURL等工具進行模擬，還可以自己用python或其他語言寫代碼進行post數據，不過當時簡單起見所以就選擇了用cURL測試。

使用cURL模擬控制台登錄

說到模擬登錄或者模擬點擊，很多同學可能直接聯想到QTP等模擬界面操作的工具，事實上這種工具有一個很大的弊端是太依賴控件，如果界面控件變了，

那麼可能整個腳本就無效了，現在的程序設計都傾向界面邏輯分離，這樣修改界面時就不會動到底下的功能接口，開發人員可以隨時修改界面控件，如果還是採取

QTP等模擬點擊的方法測試，結果可能是事倍功半的，如果測試時直接點用接口就可以避免這種問題。

下面的例子是模擬控制台登錄的，登錄URL為：

，首先使用瀏覽器登錄一次，看看實際效果如何。

Tips：

測試php或其他web程序時建議使用chrome，因為它自帶的Developer

Tools十分好用，當然firefox或者IE9也有類似的工具，看個人習慣吧。按F12打開工具，選擇Network標籤頁，然後輸入用戶名、密碼點

擊登錄，這時Network下方會顯示登錄過程中瀏覽器想控制台請求的所有數據，包括請求類型、表單數據等，這些是我們模擬操作的數據來源。

從上圖可以獲取幾個重點信息：請求URL、請求類型、數據類型、數據內容、並且支持gzip壓縮等。我們用curl模擬如下：

curl -i –compressed -d “username=admin” -d “userpass=admin”

使用-i和—compressed的原因再上一個例子已經說了，這裡不再贅述，重點是後面的-d，它在官方幫助的解釋是：

-d, –data DATA HTTP POST data (H)

–data-ascii DATA HTTP POST ASCII data (H)

–data-binary DATA HTTP POST binary data (H)

–data-urlencode DATA HTTP POST data url encoded (H)

–delegation STRING GSS-API delegation permission

–digest Use HTTP Digest Authentication (H)

–disable-eprt Inhibit using EPRT or LPRT (F)

–disable-epsv Inhibit using EPSV (F)

而我們從Developer Tools返回的數據已經知道，返回數據的格式是

“application/x-www-form-urlencoded”，所以很明顯需要使用-d的HTTP POST data url encoded特性。不過格式中還有關鍵字form，莫非也支持-F參數登錄，試試：

curl -i –compressed -F “username=admin” -F “userpass=admin”，果然成功，呵呵～

也許有同學有疑問，為何不模擬warnsetup、refer，這是因為測試時發現登錄界面只需要用戶名和密碼就夠了，refer 用於記錄來源網頁，在這裡用處不大，warnsetup只是用於驗證登錄碼的，這個已經去掉了。

接下來要驗證數據，我們在命令提示符中運行上面的命令，返回結果如下：

HTTP/1.1 302 Moved Temporarily

Date: Fri, 24 Aug 2012 08:29:07 GMT

Content-Type: text/html

Transfer-Encoding: chunked

Connection: keep-alive

X-Powered-By: PHP/5.4.3

Set-Cookie: PHPSESSID=4711d2365de9aaaca0c28b1ca52183f0; path=/

Expires: Thu, 19 Nov 1981 08:52:00 GMT

Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0

Pragma: no-cache

Set-Cookie: PHPSESSID=81d4bb65e888c1b6347120641eb4798b; path=/

Location: ./index.php

Server: 360 web server

很奇怪吧，乍一看控制台沒有返回任何有用信息，不過裡面那句HTTP/1.1 302 Moved

Temporarily是不是特別眼熟？這個特殊的302（表示http重定向）正是我們在Developer

Tools看到的狀態值，看到這個已經可以80%確定我們登錄已經成功了，更重要的是返回包中的內容：Location:

./index.php，這說明控制台已經通知請求端跳轉到index.php，如果登錄失敗控制台會繼續停留在當前登錄界面的，我們只需要修改curl

語句中的用戶名或者密碼就知道了，這種情況下返回包就是登錄界面的php源碼，這裡不再贅述。

使用cURL以get方式測試控制台搜索接口

測試方法同上面差不多，首先使用chrome打開控制台進入對應頁面，在搜索框中輸入“test.exe”，點擊搜索，使用developer tools抓包，內容如下：

cURL模擬get方式發送數據的參數是-G，了解這個後面要模擬就很簡單了：

curl -i –compressed -G “;filename=59c7dd2eafdbe86b2e23bcdabb575448bg=0lm=19

”

其中每個參數的含義要分別了解：filename表示輸入的關鍵字，bg表示數據庫第一行，lm表示共顯示19行數據。這個接口返回的數據如下：

{“rows”:[{“level”:”10″,”plevel”:”10″,”id”:”20″,”md5″:”59c7dd2eafdbe86b2e23bcdabb575448″,”soft_name”:””,”soft_desc”:””,”file_desc”:”QVBJIFRyYWNpbmcgWDg2IEhvb2sgRW5naW5l”,”is_sys_file”:”127″,”size”:”41984″,”is_rep”:”0″,”file_name”:”apihex86.d

ll”,”file_version”:”6.1.7600.16385″,”product_version”:”6.1.7600.16385″,”copyright”:”\u00a9 Microsoft Corporation. All rights reserved.”,”lang”:”0″,”org_name”:”YXBpaGV4ODYuZGxs”,”sign_name”:”TWljcm9zb2Z0IFdpbmRvd3M=”,”company_name”:”Microsof

t Corporation”,”update_time”:”2012-07-31 18:14:27″,”create_time”:”2012-07-31 18:14:27″,”creator_mid”:”15be5b7dce003cdc2c1d1448afcf6cf0″}],”count”:”1″}

分別是文件屬性和文件信息，這涉及到兩個數據庫表，所以驗證數據需要用python從兩張表中獲取對應信息。

從第一張表獲取文件屬性，比如只獲取plevel：

SELECT plevel FROM `file` where md5=”59c7dd2eafdbe86b2e23bcdabb575448″

從第二張表獲取文件信息，比如只獲取company_name：

SELECT company_name FROM file_info where md5=”59c7dd2eafdbe86b2e23bcdabb575448″

Python代碼如下：

conn = MySQLdb.connect(host=‘%s‘% self.host, user=‘user‘,passwd=‘test321‘,db=‘cloud‘)

cursor = conn.cursor()

count = cursor.execute(‘SELECT plevel FROM `file` where md5=”111111932490c813bf5ea9d8aa6fa60c”‘)

result = cursor.fetchone()

self.assertNotEqual(response.find(str(result[0])),-1)

count = cursor.execute(‘SELECT company_name FROM file_info where md5=”111111932490c813bf5ea9d8aa6fa60c”‘)

result1 = cursor.fetchone()

self.assertNotEqual(response.find(result1[0]),-1)

當然嚴謹的測試案例是每一個屬性字段都需要進行查找和匹配，這裡就不再贅述了。