js實現curl,js ?!

本文目錄一覽：

• 1、怎麼用js代碼修改referer的值？
• 2、php curl怎麼獲取JavaScript動態值
• 3、如何等待js渲染頁面完成後使用casperjs抓取dom節點
• 4、js 用xmlhttprequest 跨域問題。
• 5、javascript 怎麼獲取指定url網頁中的內容
• 6、PHP/JS怎麼在輸出值的前後加上前綴和後綴

怎麼用js代碼修改referer的值？

給你一段PHP代碼片段，我目前正在使用的，幾乎不用修改，可以直接使用。第一次回答技術帖。

?php

$url=’XXX’;//這裡填寫url

$cookie=’XXXXXXXXX’; //COOKIE值

$post_data=”; //post數據

$useragent=’Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; MAXTHON 2.0)’;

$ch = curl_init();

curl_setopt($ch, CURLOPT_HTTPGET, 1);

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, “”);//引號內填寫你需要寫的referer值

curl_setopt($ch, CURLOPT_URL,$url);

curl_setopt($ch, CURLOPT_POSTFIELDS, $post_data);

curl_setopt($ch, CURLOPT_COOKIE,$cookie);

curl_setopt($ch, CURLOPT_USERAGENT,$useragent);

$result = curl_exec($ch);

?

php curl怎麼獲取JavaScript動態值

ajax動態獲取，直接JQ庫

站內

$.getJSON(‘xxxx.php?xxxx’,function(){

OPTION

});

如果你是想用curl獲取別人網站上的Js內容只能解JS然後模擬去獲取，或者無解

如何等待js渲染頁面完成後使用casperjs抓取dom節點

pcntl_fork或者swoole_process實現多進程並發。按照每個網頁抓取耗時500ms，開200個進程，可以實現每秒400個頁面的抓取。

curl實現頁面抓取，設置cookie可以實現模擬登錄 simple_html_dom 實現頁面的解析和DOM處理

如果想要模擬瀏覽器，可以使用casperJS。用swoole擴展封裝一個服務接口給PHP層調用

在多玩網這裡有一套爬蟲系統就是基於上述技術方案實現的，每天會抓取幾千萬個頁面。

js 用xmlhttprequest 跨域問題。

ajax是不能實現跨域的,就算是實現了,比如用jquery, 效果也不好.給你幾種方法:

1.選擇用POST表單的形式,可以直接跨域

2.CURL傳輸可以實現跨域名,fsocket也是沒有問題的.

你可以從上面的思路中找個投機取巧的方法, 比如在ajax先去服務器,再CURL去獲取對應的數據等.

javascript 怎麼獲取指定url網頁中的內容

javascript出於安全機制不允許跨域操作的。因此不能抓取其他網站的內容。

可以使用php中的

echo file_get_contents(“網址”);

也可以使用curl

$ch=curl_init();

curl_setopt($ch,CURLOPT_URL,”網址”);

curl_setopt($ch,CURLOPT_HEADER,0);

curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);

echo $data=curl_exec($ch);

curl_close($ch);

PHP/JS怎麼在輸出值的前後加上前綴和後綴

給個思路：1.用js實現，鏈接轉換完成後，在瀏覽器的控制台加入自己的js代碼，首先創建一個保存結果的文本框，然後去抓取每個輸出並加上前後綴，存入文本框。

2.用curl下載網頁後通過php抓取數據。