java設置代理伺服器請求,搭建自己的http代理伺服器

本文目錄一覽:

如何用JAVA實現一個代理伺服器

代理伺服器的應用非常廣泛。比如,在企業網內部,它可以用來控制員工在工作時瀏覽的Internet內容,阻止員工訪問某些類型的內容或某些指定的網站。代理伺服器實際上扮演著瀏覽器和Web伺服器之間的中間人的角色,能夠對瀏覽器請求進行各種各樣的處理,能夠過濾廣告和Cookie,能夠預先提取Web頁面,使得瀏覽器訪問頁面的速度更快,等等。

一、基礎知識

不管以哪種方式應用代理伺服器,其監控HTTP傳輸的過程總是如下:

步驟一:內部的瀏覽器發送請求給代理伺服器。請求的第一行包含了目標URL。

步驟二:代理伺服器讀取該URL,並把請求轉發給合適的目標伺服器。

步驟三:代理伺服器接收來自Internet目標機器的應答,把應答轉發給合適的內部瀏覽器。

例如,假設有一個企業的僱員試圖訪問網站。如果沒有代理伺服器,僱員的瀏覽器打開的Socket通向運行這個網站的Web伺服器,從Web伺服器返回的數據也直接傳遞給僱員的瀏覽器。如果瀏覽器被配置成使用代理伺服器,則請求首先到達代理伺服器;隨後,代理伺服器從請求的第一行提取目標URL,打開一個通向的Socket。當返回應答時,代理伺服器把應答轉發給僱員的瀏覽器。

當然,代理伺服器並非只適用於企業環境。作為一個開發者,擁有一個自己的代理伺服器是一件很不錯的事情。例如,我們可以用代理伺服器來分析瀏覽器和Web伺服器的交互過程。測試和解決Web應用中存在的問題時,這種功能是很有用的。我們甚至還可以同時使用多個代理伺服器(大多數代理伺服器允許多個伺服器鏈接在一起使用)。例如,我們可以有一個企業的代理伺服器,再加上一個用java編寫的代理伺服器,用來調試應用程序。但應該注意的是,代理伺服器鏈上的每一個伺服器都會對性能產生一定的影響。

二、設計規劃

正如其名字所示,代理伺服器只不過是一種特殊的伺服器。和大多數伺服器一樣,如果要處理多個請求,代理伺服器應該使用線程。下面是一個代理伺服器的基本規劃:

等待來自客戶(Web瀏覽器)的請求。

啟動一個新的線程,以處理客戶連接請求。

讀取瀏覽器請求的第一行(該行內容包含了請求的目標URL)。

分析請求的第一行內容,得到目標伺服器的名字和埠。

打開一個通向目標伺服器(或下一個代理伺服器,如合適的話)的Socket。

把請求的第一行發送到輸出Socket。

把請求的剩餘部分發送到輸出Socket。

把目標Web伺服器返回的數據發送給發出請求的瀏覽器。

當然,如果考慮細節的話,情況會更複雜一些。實際上,這裡主要有兩個問題要考慮:第一,從Socket按行讀取數據最適合進一步處理,但這會產生性能瓶頸;第二,兩個Socket之間的連接必需高效。有幾種方法可以實現這兩個目標,但每一種方法都有各自的代價。例如,如果要在數據進入的時候進行過濾,這些數據最好按行讀取;然而,大多數時候,當數據到達代理伺服器時,立即把它轉發出去更適合高效這一要求。另外,數據的發送和接收也可以使用多個獨立的線程,但大量地創建和拆除線程也會帶來性能問題。因此,對於每一個請求,我們將用一個線程處理數據的接收和發送,同時在數據到達代理伺服器時,儘可能快速地把它轉發出去。

三、實例

在用java編寫這個代理伺服器的過程中,注意可重用性是很重要的。因為這樣的話,當我們想要在另一個工程中以不同的方式處理瀏覽器請求時,可以方便地重用該代理伺服器。當然,我們必須注意靈活性和效率之間的平衡。

圖一顯示了本文代理伺服器實例(HttpProxy.java)的輸出界面,當瀏覽器訪問時,代理伺服器向默認日誌設備(即標準輸出設備屏幕)輸出瀏覽器請求的URL。圖二顯示了SubHttpProxy的輸出。SubHttpProxy是HttpProxy的一個簡單擴展。

圖一

圖二

為了構造代理伺服器,我從Thread基類派生出了HttpProxy類(文章正文中出現的代碼是該類的一些片斷,完整的代碼請從本文最後下載)。HttpProxy類包含了一些用來定製代理伺服器行為的屬性,參見Listing 1和表一。

【Listing 1】

/*************************************

* 一個基礎的代理伺服器類

*************************************

*/

import java.net.*;

import java.io.*;

public class HttpProxy extends Thread {

static public int CONNECT_RETRIES=5;

static public int CONNECT_PAUSE=5;

static public int TIME-OUT=50;

static public int BUFSIZ=1024;

static public boolean logging = false;

static public OutputStream log=null;

// 傳入數據用的Socket

protected Socket socket;

// 上級代理伺服器,可選

static private String parent=null;

static private int parentPort=-1;

static public void setParentProxy(String name, int pport) {

parent=name;

parentPort=pport;

}

// 在給定Socket上創建一個代理線程。

public HttpProxy(Socket s) { socket=s; start(); }

public void writeLog(int c, boolean browser) throws IOException {

log.write(c);

}

public void writeLog(byte[] bytes,int offset,

int len, boolean browser) throws IOException {

for (int i=0;ilen;i++) writeLog((int)bytes[offset+i],browser);

}

// 默認情況下,日誌信息輸出到

// 標準輸出設備,

// 派生類可以覆蓋它

public String processHostName(String url, String host, int port, Socket sock) {

java.text.DateFormat cal=java.text.DateFormat.getDateTimeInstance();

System.out.println(cal.format(new java.util.Date()) + ” – ” +

url + ” ” + sock.getInetAddress()+”BR”);

return host;

}

表一

變數/方法 說明

CONNECT_RETRIES 在放棄之前嘗試連接遠程主機的次數。

CONNECT_PAUSE 在兩次連接嘗試之間的暫停時間。

TIME-OUT 等待Socket輸入的等待時間。

BUFSIZ Socket輸入的緩衝大小。

logging 是否要求代理伺服器在日誌中記錄所有已傳輸的數據(true表示「是」)。

log 一個OutputStream對象,默認日誌常式將向該OutputStream對象輸出日誌信息。

setParentProxy 用來把一個代理伺服器鏈接到另一個代理伺服器(需要指定另一個伺服器的名稱和埠)。

當代理伺服器連接到Web伺服器之後,我用一個簡單的循環在兩個Socket之間傳遞數據。這裡可能出現一個問題,即如果沒有可操作的數據,調用read方法可能導致程序阻塞,從而掛起程序。為防止出現這個問題,我用setSoTimeout方法設置了Socket的超時時間(參見Listing 2)。這樣,如果某個Socket不可用,另一個仍舊有機會進行處理,我不必創建一個新的線程。

【Listing 2】

// 執行操作的線程

public void run() {

String line;

String host;

int port=80;

Socket outbound=null;

try {

socket.setSoTimeout(TIMEOUT);

InputStream is=socket.getInputStream();

OutputStream os=null;

try {

// 獲取請求行的內容

line=””;

host=””;

int state=0;

boolean space;

while (true) {

int c=is.read();

if (c==-1) break;

if (logging) writeLog(c,true);

space=Character.isWhitespace((char)c);

switch (state) {

case 0:

if (space) continue;

state=1;

case 1:

if (space) {

state=2;

continue;

}

line=line+(char)c;

break;

case 2:

if (space) continue; // 跳過多個空白字元

state=3;

case 3:

if (space) {

state=4;

// 只分析主機名稱部分

String host0=host;

int n;

n=host.indexOf(“//”);

if (n!=-1) host=host.substring(n+2);

n=host.indexOf(‘/’);

if (n!=-1) host=host.substring(0,n);

// 分析可能存在的埠號

n=host.indexOf(“:”);

if (n!=-1) {

port=Integer.parseInt(host.substring(n+1));

host=host.substring(0,n);

}

host=processHostName(host0,host,port,socket);

if (parent!=null) {

host=parent;

port=parentPort;

}

int retry=CONNECT_RETRIES;

while (retry–!=0) {

try {

outbound=new Socket(host,port);

break;

} catch (Exception e) { }

// 等待

Thread.sleep(CONNECT_PAUSE);

}

if (outbound==null) break;

outbound.setSoTimeout(TIMEOUT);

os=outbound.getOutputStream();

os.write(line.getBytes());

os.write(‘ ‘);

os.write(host0.getBytes());

os.write(‘ ‘);

pipe(is,outbound.getInputStream(),os,socket.getOutputStream());

break;

}

host=host+(char)c;

break;

}

}

}

catch (IOException e) { }

} catch (Exception e) { }

finally {

try { socket.close();} catch (Exception e1) {}

try { outbound.close();} catch (Exception e2) {}

}

}

和所有線程對象一樣,HttpProxy類的主要工作在run方法內完成(見Listing 2)。run方法實現了一個簡單的狀態機,從Web瀏覽器每次一個讀取字元,持續這個過程直至有足夠的信息找出目標Web伺服器。然後,run打開一個通向該Web伺服器的Socket(如果有多個代理伺服器被鏈接在一起,則run方法打開一個通向鏈裡面下一個代理伺服器的Socket)。打開Socket之後,run先把部分的請求寫入Socket,然後調用pipe方法。pipe方法直接在兩個Socket之間以最快的速度執行讀寫操作。

如果數據規模很大,另外創建一個線程可能具有更高的效率;然而,當數據規模較小時,創建新線程所需要的開銷會抵消它帶來的好處。

Listing 3顯示了一個很簡單的main方法,可以用來測試HttpProxy類。大部分的工作由一個靜態的startProxy方法完成(見Listing 4)。這個方法用到了一種特殊的技術,允許一個靜態成員創建HttpProxy類(或HttpProxy類的子類)的實例。它的基本思想是:把一個Class對象傳遞給startProxy類;然後,startProxy方法利用映像API(Reflection API)和getDeclaredConstructor方法確定該Class對象的哪一個構造函數接受一個Socket參數;最後,startProxy方法調用newInstance方法創建該Class對象。

【Listing 3】

// 測試用的簡單main方法

static public void main(String args[]) {

System.out.println(“在埠808啟動代理伺服器\n”);

HttpProxy.log=System.out;

HttpProxy.logging=false;

HttpProxy.startProxy(808,HttpProxy.class);

}

}

【Listing 4】

static public void startProxy(int port,Class clobj) {

ServerSocket ssock;

Socket sock;

try {

ssock=new ServerSocket(port);

while (true) {

Class [] sarg = new Class[1];

Object [] arg= new Object[1];

sarg[0]=Socket.class;

try {

java.lang.reflect.Constructor cons = clobj.getDeclaredConstructor(sarg);

arg[0]=ssock.accept();

cons.newInstance(arg); // 創建HttpProxy或其派生類的實例

} catch (Exception e) {

Socket esock = (Socket)arg[0];

try { esock.close(); } catch (Exception ec) {}

}

}

} catch (IOException e) {

}

}

利用這種技術,我們可以在不創建startProxy方法定製版本的情況下,擴展HttpProxy類。要得到給定類的Class對象,只需在正常的名字後面加上.class(如果有某個對象的一個實例,則代之以調用getClass方法)。由於我們把Class對象傳遞給了startProxy方法,所以創建HttpProxy的派生類時,就不必再特意去修改startProxy。(下載代碼中包含了一個派生得到的簡單代理伺服器)。

結束語

利用派生類定製或調整代理伺服器的行為有兩種途徑:修改主機的名字,或者捕獲所有通過代理伺服器的數據。processHostName方法允許代理伺服器分析和修改主機名字。如果啟用了日誌記錄,代理伺服器為每一個通過伺服器的字元調用writeLog方法。如何處理這些信息完全由我們自己決定——可以把它寫入日誌文件,可以把它輸出到控制台,或進行任何其他滿足我們要求的處理。writeLog輸出中的一個Boolean標記指示出數據是來自瀏覽器還是Web主機。

和許多工具一樣,代理伺服器本身並不存在好或者壞的問題,關鍵在於如何使用它們。代理伺服器可能被用於侵犯隱私,但也可以阻隔偷窺者和保護網路。即使代理伺服器和瀏覽器不在同一台機器上,我也樂意把代理伺服器看成是一種擴展瀏覽器功能的途徑。例如,在把數據發送給瀏覽器之前,可以用代理伺服器壓縮數據;未來的代理伺服器甚至還可能把頁面從一種語言翻譯成另一種語言……可能性永無止境。

Java 中怎樣在程序中設置代理伺服器

你的問題應該是:在java中通過編程設置代理伺服器並訪問網路,現在作答如下:

1,講解一下基礎知識:

HTTP:是應用層協議,是基於傳輸層協議的。

TCP: 是傳輸層協議,是基於網路層協議的。

IP: 是網路層協議。

一個TCP的連接要進行三次握手(就像轉戶口一樣,不詳說),HTTP只是一個應用協議,也就是相當於一個自定義協議,即其沒有對底層的傳輸方式進行干涉,只是對數據內容格式進行了定義。

2,

我們再說說HTTP代理,從上可以理解,HTTP代理伺服器就是這樣一台機器:你把所有的HTTP請求都發到這個

HTTP代理伺服器,然後這個HTTP代理伺服器請求你要訪問的最終地址,把響應回傳給你。這裡還要注意它代理的是HTTP協議,而HTTP又是基於

TCP的,也就是說這個伺服器代理的是指定HTTP內容格式的TCP連接。再說下去也沒意思了,看以下代碼:

//以下地址是代理伺服器的地址

Socket socket = new Socket(“10.1.2.188”, 80);

//寫與的內容就是遵循HTTP請求協議格式的內容,請求百度

socket.getOutputStream().write(new String(“GET HTTP/1.1\r\n\r\n”).getBytes());

byte[] bs = new byte[1024];

InputStream is = socket.getInputStream();

int i;

while ((i = is.read(bs)) 0) {

System.out.println(new String(bs, 0, i));

}

is.close();

3,當然在Java中,有Proxy代理上網的使用,此時使用URL(HTTP)就不涉及Socket(TCP)了,看如下代碼

//設置代理

System.setProperty(“http.proxySet”, “true”);

System.setProperty(“http.proxyHost”, “10.1.2.188”);

System.setProperty(“http.proxyPort”, “80”);

//直接訪問目的地址

URL url = new URL(“”);

URLConnection con = url.openConnection();

InputStreamReader isr = new InputStreamReader(con.getInputStream());

char[] cs = new char[1024];

int i = 0;

while ((i = isr.read(cs)) 0) {

System.out.println(new String(cs, 0, i));

}

isr.close();

JAVA中如何設置代理伺服器,取消代理伺服器

在JAVA中怎麼設置代理伺服器呢,非常簡單

public void setServiceProxy(Config config) {

    this.config = config;

    System.setProperty(“http.proxyHost”, config.getProxyHost());

    System.setProperty(“http.proxyPort”, config.getProxyPort());

    System.setProperty(“https.proxyHost”, config.getProxyHost());

    System.setProperty(“https.proxyPort”, config.getProxyPort());

  }

然後在每一個HttpUrlConnection請求中,設置代理伺服器用戶名和密碼,並進行Base64加密(看你代理伺服器的要求,可能因代理伺服器不同而不同),代碼如下

private HttpURLConnection getProxyHttpConnection() throws IOException {

    String authorization = config.getProxyUser() + “:”

        + config.getProxyPassword();

    URL url = new URL(config.getRequestUrl());

    HttpURLConnection conn = (HttpURLConnection) url.openConnection();

    conn.setRequestProperty(“Proxy-Authorization”,

        “Basic ” + Base64.encodeBase64String(authorization.getBytes()));

    return conn;

  }

原創文章,作者:YPLK,如若轉載,請註明出處:https://www.506064.com/zh-tw/n/137834.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
YPLK的頭像YPLK
上一篇 2024-10-04 00:18
下一篇 2024-10-04 00:18

相關推薦

  • Java JsonPath 效率優化指南

    本篇文章將深入探討Java JsonPath的效率問題,並提供一些優化方案。 一、JsonPath 簡介 JsonPath是一個可用於從JSON數據中獲取信息的庫。它提供了一種DS…

    編程 2025-04-29
  • java client.getacsresponse 編譯報錯解決方法

    java client.getacsresponse 編譯報錯是Java編程過程中常見的錯誤,常見的原因是代碼的語法錯誤、類庫依賴問題和編譯環境的配置問題。下面將從多個方面進行分析…

    編程 2025-04-29
  • Java Bean載入過程

    Java Bean載入過程涉及到類載入器、反射機制和Java虛擬機的執行過程。在本文中,將從這三個方面詳細闡述Java Bean載入的過程。 一、類載入器 類載入器是Java虛擬機…

    編程 2025-04-29
  • Java騰訊雲音視頻對接

    本文旨在從多個方面詳細闡述Java騰訊雲音視頻對接,提供完整的代碼示例。 一、騰訊雲音視頻介紹 騰訊雲音視頻服務(Cloud Tencent Real-Time Communica…

    編程 2025-04-29
  • Java Milvus SearchParam withoutFields用法介紹

    本文將詳細介紹Java Milvus SearchParam withoutFields的相關知識和用法。 一、什麼是Java Milvus SearchParam without…

    編程 2025-04-29
  • Java 8中某一周的周一

    Java 8是Java語言中的一個版本,於2014年3月18日發布。本文將從多個方面對Java 8中某一周的周一進行詳細的闡述。 一、數組處理 Java 8新特性之一是Stream…

    編程 2025-04-29
  • Java判斷字元串是否存在多個

    本文將從以下幾個方面詳細闡述如何使用Java判斷一個字元串中是否存在多個指定字元: 一、字元串遍歷 字元串是Java編程中非常重要的一種數據類型。要判斷字元串中是否存在多個指定字元…

    編程 2025-04-29
  • VSCode為什麼無法運行Java

    解答:VSCode無法運行Java是因為默認情況下,VSCode並沒有集成Java運行環境,需要手動添加Java運行環境或安裝相關插件才能實現Java代碼的編寫、調試和運行。 一、…

    編程 2025-04-29
  • Java任務下發回滾系統的設計與實現

    本文將介紹一個Java任務下發回滾系統的設計與實現。該系統可以用於執行複雜的任務,包括可回滾的任務,及時恢復任務失敗前的狀態。系統使用Java語言進行開發,可以支持多種類型的任務。…

    編程 2025-04-29
  • Java 8 Group By 會影響排序嗎?

    是的,Java 8中的Group By會對排序產生影響。本文將從多個方面探討Group By對排序的影響。 一、Group By的概述 Group By是SQL中的一種常見操作,它…

    編程 2025-04-29

發表回復

登錄後才能評論