curl轉換為python請求,python curl

本文目錄一覽：

1、curl -u username:password命令請求url，怎麼轉換成http進行網路請求呢？
2、如何利用cURL和python對服務端和web端進行介面測試
3、怎麼把這個 curl 命令用 python requests 搞定
4、怎麼判斷curl調用介面返回成功：響應碼

curl -u username:password命令請求url，怎麼轉換成http進行網路請求呢？

最近在工作中遇到一個問題，文檔中用curl表示請求網路，比如curl -u abc:123 ，以為後面的abc:123就是一默認的參數，多次嘗試請求都失敗了，就花了一點時間研究了一下，

我以HttpUrlConnection為例子，比如 curl -u username:password 「：

1.創建HttpUrlConnection對象：

String surl = “;metrics=quality_summaryday=2017-10-1”;

URL realUrl = new URL(surl);

//你的用戶名和密碼

//此處就是curl -u user:password 轉換成http請求的格式

String name = “your username”;

String password = “your password”;

String authString = name + “:” + password;

System.out.println(“auth string: ” + authString);

//Base64編碼

byte[] authEncBytes = Base64.encodeBase64(authString.getBytes(“utf-8”));

String authStringEnc = new String(authEncBytes);

//Authorization格式，注意「Basic 」有個空格

conn.setRequestProperty(“Authorization”, “Basic ” + authStringEnc);

// 發送POST請求必須設置如下兩行

conn.setDoOutput(true);

conn.setDoInput(true);

conn.connect();

if (conn.getResponseCode() == 200){

// 獲取URLConnection對象對應的輸出流

System.out.println(“網路請求成功！”);

//開始獲取數據

BufferedInputStream bis = new BufferedInputStream(conn.getInputStream());

ByteArrayOutputStream bos = new ByteArrayOutputStream();

int len;

byte[] arr = new byte[1024];

while((len=bis.read(arr))!= -1){

bos.write(arr,0,len);

bos.flush();

}

bos.close();

return bos.toString(“utf-8”);

} else {

System.out.println(“網路請求失敗，響應碼是”+conn.getResponseCode()+”,message是”+conn.getResponseMessage()+”DETAILS:”);

}

} catch (UnsupportedEncodingException e1) {

e1.printStackTrace();

} catch (MalformedURLException e1) {

e1.printStackTrace();

} catch (IOException e1) {

e1.printStackTrace();

} catch (Exception e) {

System.out.println(“發送 POST 請求出現異常！”+e);

e.printStackTrace();

}

//使用finally塊來關閉輸出流、輸入流

finally{

try{

if(out!=null){

out.close();

}

if(in!=null){

in.close();

}

catch(IOException ex){

ex.printStackTrace();

}

return result;

}

如何利用cURL和python對服務端和web端進行介面測試

工具描述

cURL是利用URL語法在命令行方式下工作的文件傳輸工具，是開源愛好者編寫維護的免費工具，支持包括Windows、Linux、Mac等數十個操作系統，最新版本為7.27.0，但是我推薦大家使用7.26.0，從這裡可以下載7.26.0版本。

以下是官方介紹的翻譯： cURL是一個使用URL語法來傳輸數據的命令行工具，支持DICT，FILE，FTP，FTPS，GOPHER，HTTP，HTTPS，IMAP，IMAPS，LDAP，LDAPS，POP3，POP3S，RTMP，RTSP，SCP，SFTP，SMTP，SMTPS，Telnet和TFTP。 cURL支持SSL證書，HTTP POST，HTTP PUT，FTP上傳，HTTP基礎表單上傳，代理，cookies，用戶+密碼身份驗證（Basic, Digest, NTLM, Negotiate, kerberos…），恢復文件傳輸，隧道代理等等。

Python是一種面向對象、直譯式計算機程序設計語言，由Guido van Rossum於1989年底發明，它的強大和易用就無需多做說明了，在web開發中或者對開發速度要求較高的開發中應用十分廣，不過因為屬於腳本類語言，它的性能始終比不上C++、C等語言。

本文主要利用實例說明這兩款工具的在測試中的部分用途，更多用法留待大家繼續探索。

應用場景

使用cURL模擬客戶端對服務端進行查詢

在進行介面測試時，應該先找開發人員提供介面列表和對應參數，這樣測試的時候就可以驗證測試方法是否正確，不過如果可以用瀏覽器模擬操作的話，也可以自己先試試的，後面的例子會提到。

首先使用客戶端訪問需要測試的服務端介面，用wireshark抓包結果如下：

把查詢字元串以multipart方式post數據到伺服器的file_health_info.php介面。

Tips：

Windows版的cURL不像Linux或者Mac一樣屬於系統自帶工具，需要下載，如果要在命令提示符下使用就需要跳轉到工具所在目錄下才能運行，十分麻煩，我們可以直接把這個工具文件放到Windows目錄下，這樣無論在哪個目錄都可以直接使用「curl」命令運行工具了。

cURL默認就是以post方式發送數據的，所以只需要加入multipart方式就可以了，-F在cURL幫助中的解釋是：

-F, –form CONTENT Specify HTTP multipart POST data (H)

–form-string STRING Specify HTTP multipart POST data (H)

–ftp-account DATA Account data string (F)

–ftp-alternative-to-user COMMAND String to replace “USER [name]” (F)

–ftp-create-dirs Create the remote dirs if not present (F)

–ftp-method [MULTICWD/NOCWD/SINGLECWD] Control CWD usage (F)

–ftp-pasv Use PASV/EPSV instead of PORT (F)

Specify HTTP multipart POST data正好滿足我們的要求，所以模擬的語句是：

curl -F “newmd5=3bcad21af5f17c1fbff419137297c942###25016566###d:\test.exe###1###” file_health_info.php

後面的都是參數，測試前就要找開發確認好。

不過因為服務端支持以gzip方式返回數據，所以我們還可以在請求中加入—compressed參數，即是：

curl –compressed -F “newmd5=3bcad21af5f17c1fbff419137297c942###25016566###d:\test.exe###1###”file_health_info.php

為了更好判斷服務端介面是否正常，除了對返回數據進行判斷外，我們還需要對服務端返回的數據包頭進行解析，所以還可以在cURL請求中加入-i參數，最終這個測試語句就變為：

curl –i –compressed -F “newmd5=3bcad21af5f17c1fbff419137297c942###25016566###d:\test.exe###1###”file_health_info.php

模擬完成後就要考慮判斷返回值的事了，我們首先在命令提示符下運行這個語句，看看返回值。

運行以上命令後，返回的數據如下：

HTTP/1.1 100 Continue

HTTP/1.1 200 OK

Date: Fri, 24 Aug 2012 07:47:45 GMT

Content-Type: application/xml

Transfer-Encoding: chunked

Connection: keep-alive

Server: 360 web server

Content-Encoding: gzip

?xml version=”1.0″ encoding=”GBK” ?

ret

retinfo code=”0″ msg=”Operation success” total=”1″ success=”1″ empty=”0″

cost=”999.92752075195″/

softs

soft

md53bcad21af5f17c1fbff419137297c942/md5

sha1/sha1

level4040/level

e_level40.3/e_level

size/size

soft_name![CDATA[]] /soft_name

describ![CDATA[]]/describ

file_desc![CDATA[]]/file_desc

upload0/upload

attr_upload2/attr_upload

class![CDATA[private]]/class

malware![CDATA[cloud.virus]]/malware

is_sys_file0/is_sys_file

is_rep0/is_rep

age0/age

pop0/pop

/soft

/softs

/ret

數據包包頭是常見的，一般來說，我們只要判斷包頭中含有「HTTP/1.1 200 OK」就可以確定服務端正常返回了數據。另外從內容可以看到這是一個xml格式的數據包，我們只需要判斷是否存在關鍵的欄位即可，比如level，確定這些之後我們就可以在python中添加如下案例代碼了：

首先運行指定的curl命令：

response = os.popen(”’curl -i –compressed -F “newmd5=3bcad21af5f17c1fbff419137297c942###25016566###d:\test.exe###1###”

然後判斷返回值中是否存在我們想要的欄位：

self.assertNotEqual(response.find(‘HTTP/1.1 200 OK’),-1)

self.assertNotEqual(response.find(‘level’),-1)

上面的內容看起來差不多可以了，但實際還不夠嚴謹，因為服務端返回的這些數據是從資料庫中獲取的，所以我們還需要查詢資料庫獲取指定值，判斷是否和數據包中的一致，比如level：

首先使用python登錄資料庫伺服器：

conn = MySQLdb.connect(host=’172.22.54.31′, user=’user’,passwd=’test321′,db=’cloud’)

cursor = conn.cursor()

count = cursor.execute(‘SELECT plevel FROM file where md5=”3bcad21af5f17c1fbff419137297c942″‘)

result = cursor.fetchone()

然後判斷返回值中的level是否資料庫中的值：

self.assertNotEqual(response.find(”’level%s/level”’%result[0]),-1)

測試時除了使用cURL等工具進行模擬，還可以自己用python或其他語言寫代碼進行post數據，不過當時簡單起見所以就選擇了用cURL測試。

使用cURL模擬控制台登錄

說到模擬登錄或者模擬點擊，很多同學可能直接聯想到QTP等模擬界面操作的工具，事實上這種工具有一個很大的弊端是太依賴控制項，如果界面控制項變了，那麼可能整個腳本就無效了，現在的程序設計都傾向界面邏輯分離，這樣修改界面時就不會動到底下的功能介面，開發人員可以隨時修改界面控制項，如果還是採取QTP等模擬點擊的方法測試，結果可能是事倍功半的，如果測試時直接點用介面就可以避免這種問題。

下面的例子是模擬控制台登錄的，登錄URL為：

index.php?r=site/login ，首先使用瀏覽器登錄一次，看看實際效果如何。

Tips：

測試php或其他web程序時建議使用chrome，因為它自帶的Developer Tools十分好用，當然firefox或者IE9也有類似的工具，看個人習慣吧。按F12打開工具，選擇Network標籤頁，然後輸入用戶名、密碼點擊登錄，這時Network下方會顯示登錄過程中瀏覽器想控制台請求的所有數據，包括請求類型、表單數據等，這些是我們模擬操作的數據來源。

從上圖可以獲取幾個重點信息：請求URL、請求類型、數據類型、數據內容、並且支持gzip壓縮等。我們用curl模擬如下：

curl -i –compressed cloud/index.php?r=site/login -d 「username=admin」 -d 「userpass=admin」

使用-i和—compressed的原因再上一個例子已經說了，這裡不再贅述，重點是後面的-d，它在官方幫助的解釋是：

-d, –data DATA HTTP POST data (H)

–data-ascii DATA HTTP POST ASCII data (H)

–data-binary DATA HTTP POST binary data (H)

–data-urlencode DATA HTTP POST data url encoded (H)

–delegation STRING GSS-API delegation permission

–digest Use HTTP Digest Authentication (H)

–disable-eprt Inhibit using EPRT or LPRT (F)

–disable-epsv Inhibit using EPSV (F)

而我們從Developer Tools返回的數據已經知道，返回數據的格式是

「application/x-www-form-urlencoded」，所以很明顯需要使用-d的HTTP POST data url encoded特性。不過格式中還有關鍵字form，莫非也支持-F參數登錄，試試：

curl -i –compressed cloud/index.php?r=site/login -F 「username=admin」 -F 「userpass=admin」，果然成功，呵呵～

也許有同學有疑問，為何不模擬warnsetup、refer，這是因為測試時發現登錄界面只需要用戶名和密碼就夠了，refer 用於記錄來源網頁，在這裡用處不大，warnsetup只是用於驗證登錄碼的，這個已經去掉了。

接下來要驗證數據，我們在命令提示符中運行上面的命令，返回結果如下：

HTTP/1.1 302 Moved Temporarily

Date: Fri, 24 Aug 2012 08:29:07 GMT

Content-Type: text/html

Transfer-Encoding: chunked

Connection: keep-alive

X-Powered-By: PHP/5.4.3

Set-Cookie: PHPSESSID=4711d2365de9aaaca0c28b1ca52183f0; path=/

Expires: Thu, 19 Nov 1981 08:52:00 GMT

Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0

Pragma: no-cache

Set-Cookie: PHPSESSID=81d4bb65e888c1b6347120641eb4798b; path=/

Location: ./index.php

Server: 360 web server

很奇怪吧，乍一看控制台沒有返回任何有用信息，不過裡面那句HTTP/1.1 302 Moved Temporarily是不是特別眼熟？這個特殊的302（表示http重定向）正是我們在Developer Tools看到的狀態值，看到這個已經可以80%確定我們登錄已經成功了，更重要的是返回包中的內容：Location: ./index.php，這說明控制台已經通知請求端跳轉到index.php，如果登錄失敗控制台會繼續停留在當前登錄界面的，我們只需要修改curl語句中的用戶名或者密碼就知道了，這種情況下返回包就是登錄界面的php源碼，這裡不再贅述。

使用cURL以get方式測試控制台搜索介面

測試方法同上面差不多，首先使用chrome打開控制台進入對應頁面，在搜索框中輸入「test.exe」，點擊搜索，使用developer tools抓包，內容如下：

cURL模擬get方式發送數據的參數是-G，了解這個後面要模擬就很簡單了：

curl -i –compressed -G 「cloud/index.php?r=file_cloud/api/searchfilename=59c7dd2eafdbe86b2e23bcdabb575448bg=0lm=19 」

其中每個參數的含義要分別了解：filename表示輸入的關鍵字，bg表示資料庫第一行，lm表示共顯示19行數據。這個介面返回的數據如下：

{“rows”:[{“level”:”10″,”plevel”:”10″,”id”:”20″,”md5″:”59c7dd2eafdbe86b2e23bcdabb575448″,”soft_name”:””,”soft_desc”:””,”file_desc”:”QVBJIFRyYWNpbmcgWDg2IEhvb2sgRW5naW5l”,”is_sys_file”:”127″,”size”:”41984″,”is_rep”:”0″,”file_name”:”apihex86.d

ll”,”file_version”:”6.1.7600.16385″,”product_version”:”6.1.7600.16385″,”copyright”:”\u00a9 Microsoft Corporation. All rights reserved.”,”lang”:”0″,”org_name”:”YXBpaGV4ODYuZGxs”,”sign_name”:”TWljcm9zb2Z0IFdpbmRvd3M=”,”company_name”:”Microsof

t Corporation”,”update_time”:”2012-07-31 18:14:27″,”create_time”:”2012-07-31 18:14:27″,”creator_mid”:”15be5b7dce003cdc2c1d1448afcf6cf0″}],”count”:”1″}

分別是文件屬性和文件信息，這涉及到兩個資料庫表，所以驗證數據需要用python從兩張表中獲取對應信息。

從第一張表獲取文件屬性，比如只獲取plevel：

SELECT plevel FROM `file` where md5=”59c7dd2eafdbe86b2e23bcdabb575448″

從第二張表獲取文件信息，比如只獲取company_name：

SELECT company_name FROM file_info where md5=”59c7dd2eafdbe86b2e23bcdabb575448″

Python代碼如下：

conn = MySQLdb.connect(host=’%s’% self.host, user=’user’,passwd=’test321′,db=’cloud’)

cursor = conn.cursor()

count = cursor.execute(‘SELECT plevel FROM `file` where md5=”111111932490c813bf5ea9d8aa6fa60c”‘)

result = cursor.fetchone()

self.assertNotEqual(response.find(str(result[0])),-1)

count = cursor.execute(‘SELECT company_name FROM file_info where md5=”111111932490c813bf5ea9d8aa6fa60c”‘)

result1 = cursor.fetchone()

self.assertNotEqual(response.find(result1[0]),-1)

當然嚴謹的測試案例是每一個屬性欄位都需要進行查找和匹配，這裡就不再贅述了。

後記：這種介面測試用到的無非就是curl、python的unitest而已，可能有的人會疑問，為什麼用curl而不用py自帶的pycurl或者request之類，我覺得只要能滿足需求，能夠用現成的就用現成的，怎麼簡單怎麼來。搞一堆代碼維護起來也麻煩啊，現在qa行業跳槽也比較頻繁，萬一換了個人看不懂你的代碼怎麼辦？呵呵

怎麼把這個 curl 命令用 python requests 搞定

打開命令提示符 Python34換成你的python所在目錄 cd C:\Python34\Scriptspip install requests

怎麼判斷curl調用介面返回成功：響應碼

背景：最近高可用測試，雙機倒換後，需要統計多久倒換結束了。我的方法是通過業務來測試，客戶端和服務端都能正常訪問了，對外提供服務的能力肯定就提供了。

因為不知道什麼時候倒換開始和結束，需要每一秒都發curl請求，然後統計每次調用介面的時間和響應結果，並根據響應結果寫入文件，方便統計和分析測試結果。

我選擇簡單的shell腳本，上手快。Python的話需要環境上安裝相應軟體，請求的響應更容易處理更便於處理。本文選擇shell，curl來發請求。

1) #! /bin/bash

# 指腳本使用/bin/bash來解釋執行，#!是對腳本的解釋器程序路徑。標記為#!/bin/sh的腳本不應使用任何POSIX沒有規定的特性 (如let等命令, 但#!/bin/bash可以)。

2) while循環的格式

while expression

command

“`

done

或while [條件判斷式]

程序

done

舉例：計數器控制的while循環

#!/bin/bash

int=1

while [ $int=5 ]

echo $int

let “int++”

done

3) if判斷

if [ 條件判斷一 ] (||) [ 條件判斷二 ]; then

elif [ 條件判斷三 ] (||) [ 條件判斷四 ]; then

else

執行第三段內容程式

4) curl

curl -I -s –connect-timeout 5 -m 5 -w “%{http_code}” -o /dev/null

200

-I/–head 僅返回消息頭部，使用HEAD請求

-s/–slient 減少輸出的信息，比如進度

–connect-timeout seconds 指定嘗試連接的最大時長

-m/–max-time seconds 指定處理的最大時長

-w “參數” 自定義curl的輸出

-o/–output file 指定輸出文件名稱

#!/bin/bash

#根據測試背景填寫連接超時時長，單位秒

ct=5

#根據測試背景填寫響應最大時長，單位秒

rm=5

#根據測試背景填寫URL

uri=””

i=1

while [ $i=36000 ]

echo `date` === $i === get-baidu.log

let i++

resp=`curl -I -s –connect-timeout $ct -m $rm -w “%{http_code}” -o /dev/null $url`

if [ $resp==200 ]; then

echo `date` == $i ==$resp get-baidu.log

else

echo `date` == $i ==$resp get-baidu.log

echo `date` == $i ==$resp get-baidu-fail.log

done

找個和待測試環境網路可達的Linux環境，修改相關信息，直接運行即可。

注意uri是get請求，如果是post需要修改curl。

如果需要token認證則根據待測系統的實現進行攜帶token ，修改curl命令即可。

如果需要ssl證書，則攜帶相應證書，修改curl命令即可。

如果是ipv6的URL，curl中帶上-6 -g參數。

計算響應時長(本例子是雙機倒換時長)日誌查看，從 get-baidu-fail.log找到失敗點，在總的日誌中找到相應記錄，進行計算即可。

原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-tw/n/300772.html

curl轉換為python請求,python curl

本文目錄一覽：

curl -u username:password命令請求url，怎麼轉換成http進行網路請求呢？

如何利用cURL和python對服務端和web端進行介面測試

怎麼把這個 curl 命令用 python requests 搞定

怎麼判斷curl調用介面返回成功：響應碼

相關推薦

發表回復