本文目錄一覽:
- 1、Curl命令詳解
- 2、curl命令詳解是什麼?
- 3、百度站長主動推送的curl怎麼調用?
- 4、curl的用法
- 5、java 怎麼調用curl,java 怎麼調用curl-CSDN問答
- 6、求CURL獲取JAVASCRIPT生成動態內容的方法 – 技術問答
Curl命令詳解
-#, –progress-bar
顯示進度條
-b, –cookie name=data
使用cookie。如果沒有 = , 則表示cookie文件路徑 (參考 -c )
-c, –cookie-jar file name
response的cookie保存路徑
-d, –data data
POST請求數據
-f, –fail
忽略錯誤信息 (不顯示返回的HTML錯誤信息)
-F, –form name=content
表單數據
-H, –header header
設置請求Header
-i, –include
輸出請求Header信息
-I, –head
只顯示Header信息
-k, –insecure
允許不安全鏈接
-L, –location
Follow redirects.
-o, –output file
輸出信息保存到指定文件中。可與 –create-dirs 一起使用,自動創建文件路徑
-O, –remote-name
輸出信息寫到文件中,文件名同伺服器端的文件名 (只能寫入到當前目錄)
-s, –silent
靜默模式。與 -S 一起用,強制輸出errors信息
-v, –verbose
顯示更多信息(用於調試).
-w, –write-out format
請求結果後追加內容。例如, -w “\n” 可以在輸出結果後追加一個換行符。可以把 -w “\n” 添加到 ~/.curlrc 文件中,這樣每次執行結果後都自動追加換行符(默認curl返回內容最後缺少換行符,顯示不友好)
-X, –request
請求方法類型,POST、GET、PUT等
使用 POST 或 PUT 請求時, 可用 Content-Type 指定兩種數據格式:
curl默認為表單格式。如果使用json格式,需要手動設置header。
對於 POST 和 PUT 請求, 以下是通用參數:
application/x-www-form-urlencoded 為默認值:
等效於:
也可以使用數據文件:
或使用數據文件:
curl命令詳解是什麼?
在Linux中curl是一個利用URL標準在cmd下工作中的文件傳送工具,能夠算是一款很強悍的httpcmd工具。它支持文檔的發送和下載,是綜合性傳送工具,但按傳統式,習慣性稱Curl為下載工具。
1、curl指令是一個網路工具,其關鍵功能是根據http、ftp等方法下載文檔,也可以文件上傳,作為一個功能齊全的網路工具,curl指令與此同時支持HTTPS等諸多協議書,還支持POSTcookies驗證從特定偏位處下載一部分文檔,客戶代理商字元串數組、速度限制、圖片大小、時間軸等特點。
2、CURL是一個利用URL英語的語法在cmd下工作中的文件傳送工具,1997年初次發售。它支持上傳文件和下載,因此是綜合性傳送工具,但按傳統式,習慣性稱CURL為下載工具。
3、CURL還涵蓋了用以軟體開發的libcurl。cURL支持的通訊協議有FTP、FTPS、HTTP、HTTPS、TFTP、SFTP、Gopher、SCP、Telnet、DICT、FILE、LDAP、LDAPS、IMAP、POP3、SMTP和RTSP。
百度站長主動推送的curl怎麼調用?
對應平台下載安裝curl包
將網站地址寫入urls.txt文件(utf-8編碼),注意不要超過配額,可以先寫一條測試。
使用命令行切換到txt所在文件夾下,使用下面命令
curl -H ‘Content-Type:text/plain’ –data-binary @urls.txt ‘;token=edk7yc4rEZP9pDQD’
自己的token所在頁面
返回結果
{“remain”:49,”success”:1}
日剩餘量49,成功一條。
curl的用法
curl是一個利用URL語法在命令行方式下工作的文件傳輸工具。本文介紹了它的簡單用法。
*******************************************************************************************************************************************************
curl是一個利用URL語法在命令行方式下工作的文件傳輸工具。
它支持很多協議:FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP。
curl同樣支持HTTPS認證,HTTP POST方法, HTTP PUT方法, FTP上傳, kerberos認證, HTTP上傳, 代理伺服器, cookies, 用戶名/密碼認證, 下載文件斷點續傳, 上載文件斷點續傳, http代理伺服器管道( proxy tunneling), 甚至它還支持IPv6, socks5代理伺服器, 通過http代理伺服器上傳文件到FTP伺服器等等,功能十分強大。
Windows操作系統下的網路螞蟻,網際快車(FlashGet)的功能它都可以做到。準確的說,curl支持文件的上傳和下載,所以是一個綜合傳輸工具,但是按照傳統,用戶習慣稱curl為下載工具。
curl是瑞典curl組織開發的,您可以訪問:
獲取它的源代碼和相關說明。
鑒於curl在Linux上的廣泛使用,IBM在AIX Linux Toolbox的光碟中包含了這個軟體,並且您可以訪問IBM網站:
– 1.ibm.com/servers/aix/products/aixos/linux/altlic.html 下載它。
curl的最新版本是 7.10.8,IBM網站上提供的版本為7.9.3。
在AIX下的安裝很簡單,IBM網站上下載的rpm格式的包。
在 ,您可以下載到UNIX格式的man幫助,裡面有詳細的curl工具的使用說明。
curl的用法為:curl [options] [URL…]
其中options是下載需要的參數,大約有80多個,curl的各個功能完全是依靠這些參數完成的。
具體參數的使用,用戶可以參考curl的man幫助。
下面,本文就將結合具體的例子來說明怎樣利用curl進行下載。
1、獲得一張頁面
使用命令:curl
這是最簡單的使用方法。用這個命令獲得了指向的頁面,同樣,如果這裡的URL指向的是一個文件或者一幅圖都可以直接下載到本地。如果下載的是HTML文檔,那麼預設的將不顯示文件頭部,即HTML文檔的header。要全部顯示,請加參數 -i,要只顯示頭部,用參數 -I。任何時候,可以使用 -v 命令看curl是怎樣工作的,它向伺服器發送的所有命令都會顯示出來。為了斷點續傳,可以使用-r參數來指定傳輸範圍。
2、表單(Form)的獲取
在WEB頁面設計中,form是很重要的元素。Form通常用來收集並向網站提交信息。提交信息的方法有兩種,GET方法和POST方法。先討論GET方法,例如在頁面中有這樣一段:
form method=”GET” action=”junk.cgi”
input type=text name=”birthyear”
input type=submit name=press value=”OK”
/form
那麼瀏覽器上會出現一個文本框和一個標為「OK」的按鈕。按下這個按鈕,表單就用GET方法向伺服器提交文本框的數據。
例如原始頁面是在 看到的,然後您在文本框中輸入1905,然後按OK按鈕,那麼瀏覽器的URL現在應該是:「;;press=OK」
對於這種網頁,curl可以直接處理,例如想獲取上面的網頁,只要輸入:
curl “;;press=OK”
就可以了。
表單用來提交信息的第二種方法叫做POST方法,POST方法和GET方法的區別在於GET方法使用的時候,瀏覽器中會產生目標URL,而POST不會。類似GET,這裡有一個網頁:
form method=”POST” action=”junk.cgi”
input type=text name=”birthyear”
input type=submit name=press value=”OK”
/form
瀏覽器上也會出現一個文本框和一個標為「OK」的按鈕。按下這個按鈕,表單用POST方法向伺服器提交數據。
這時的URL是看不到的,因此需要使用特殊的方法來抓取這個頁面:
curl -d “birthyear=1905press=OK”
這個命令就可以做到。
1995年年末,RFC 1867定義了一種新的POST方法,用來上傳文件。主要用於把本地文件上傳到伺服器。此時頁面是這樣寫的:
form method=”POST” enctype=’multipart/form-data’ action=”upload.cgi”
input type=file name=upload
input type=submit name=press value=”OK”
/form
對於這種頁面,curl的用法不同:
curl -F upload=@localfilename -F press=OK URL
這個命令的實質是將本地的文件用POST上傳到伺服器。
有關POST還有不少用法,用戶可以自己摸索。
3、使用PUT方法。
HTTP協議文件上傳的標準方法是使用PUT,此時curl命令使用-T參數:
curl -T uploadfile
4、有關認證。
curl可以處理各種情況的認證頁面,例如下載用戶名/密碼認證方式的頁面(在IE中通常是出現一個輸入用戶名和密碼的輸入框):
curl -u name:password
如果網路是通過http代理伺服器出去的,而代理伺服器需要用戶名和密碼,那麼輸入:
curl -U proxyuser:proxypassword
任何需要輸入用戶名和密碼的時候,只在參數中指定用戶名而空著密碼,curl可以互動式的讓用戶輸入密碼。
5、引用。
有些網路資源訪問的時候必須經過另外一個網路地址跳轉過去,這用術語來說是:referer,引用。
對於這種地址的資源,curl也可以下載:
curl -e daniel.haxx.se
6、指定用戶客戶端。
有些網路資源首先需要判斷用戶使用的是什麼瀏覽器,符合標準了才能夠下載或者瀏覽。
此時curl可以把自己「偽裝」成任何其他瀏覽器:
curl -A “Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)” URL
這個指令表示curl偽裝成了IE5.0,用戶平台是Windows 2000。(對方伺服器是根據這個字串來判斷客戶端的類型的,所以即使使用AIX也無所謂)。
使用:
curl -A “Mozilla/4.73 [en] (X11; U; Linux 2.2.15 i686)” URL
此時curl變成了Netscape,運行在PIII平台的Linux上了。
7、COOKIES
Cookie是伺服器經常使用的一種記憶客戶信息的方法。如果cookie被記錄在了文件中,那麼使用命令:
curl -b stored_cookies_in_file
curl可以根據舊的cookie寫出新cookie並發送到網站:
curl -b cookies.txt -c newcookies.txt
8、加密的HTTP——HTTPS。
如果是通過OpenSSL加密的https協議傳輸的網頁,curl可以直接訪問:
curl
9、http認證。
如果是採用證書認證的http地址,證書在本地,那麼curl這樣使用:
curl -E mycert.pem
參考讀物和注意事項:
curl非常博大,用戶要想使用好這個工具,除了詳細學習參數之外,還需要深刻理解http的各種協議與URL的各個語法。
這裡推薦幾個讀物:
RFC 2616 HTTP協議語法的定義。
RFC 2396 URL語法的定義。
RFC 2109 Cookie是怎樣工作的。
RFC 1867 HTTP如何POST,以及POST的格式。
文字
curl是免費軟體,IBM公司對curl不提供技術支持。
curl官方網站:
java 怎麼調用curl,java 怎麼調用curl-CSDN問答
java 怎麼調用curl,java 怎麼調用curl-CSDN問答
java中使用curl命令上傳文件的使用方式如下:
curl -F “filename=@/home/test/file.tar.gz”
如果使用了-F參數,curl就會以 multipart/form-data 的方式發送POST請求。-F
求CURL獲取JAVASCRIPT生成動態內容的方法 – 技術問答
非常感謝各位的回答!但是小弟實在是無法從HTTP請求中得到什麼有用的東西.而且,,你們不覺得當我用CURL登錄的時候,我必須有一個東西去獲取那些HTTP請求嗎?暫時我只是在使用firebug,當然我也試用了你們說的那些擴展.可是還是無法實現!因為看起來那些根本就沒有別的HTML請求!
原創文章,作者:KFTH,如若轉載,請註明出處:https://www.506064.com/zh-tw/n/145690.html