php抓取网页页面方法汇总,php自动采集网页内容

本文目录一览：

• 1、php获取网页源码内容有哪些办法
• 2、php抓取网页源码方法
• 3、PHP获取网页内容的几种方法
• 4、php获取指定网页内容

php获取网页源码内容有哪些办法

可以参考以下几种方法：

方法一： file_get_contents获取

span style=”white-space:pre” /span$url=””;

span style=”white-space:pre” /span$fh= file_get_contents

(”);span style=”white-space:pre” /spanecho $fh;

方法二：使用fopen获取网页源代码

span style=”white-space:pre” /span$url=””;

span style=”white-space:pre” /span$handle = fopen ($url, “rb”);

span style=”white-space:pre” /span$contents = “”;

span style=”white-space:pre” /spanwhile (!feof($handle)) {

span style=”white-space:pre”  /span$contents .= fread($handle, 8192);

span style=”white-space:pre” /span}

span style=”white-space:pre” /spanfclose($handle);

span style=”white-space:pre” /spanecho $contents; //输出获取到得内容。

方法三：使用CURL获取网页源代码

$url=””;

$UserAgent = ‘Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; .NET CLR 3.0.04506; .NET CLR 3.5.21022; .NET CLR 1.0.3705; .NET CLR 1.1.4322)’;

$curl = curl_init(); //创建一个新的CURL资源

curl_setopt($curl, CURLOPT_URL, $url); //设置URL和相应的选项

curl_setopt($curl, CURLOPT_HEADER, 0);  //0表示不输出Header，1表示输出

curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); //设定是否显示头信息,1显示，0不显示。//如果成功只将结果返回，不自动输出任何内容。如果失败返回FALSE

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);

curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);

curl_setopt($curl, CURLOPT_ENCODING, ”); //设置编码格式，为空表示支持所有格式的编码

//header中“Accept-Encoding: ”部分的内容，支持的编码格式为：”identity”，”deflate”，”gzip”。

curl_setopt($curl, CURLOPT_USERAGENT, $UserAgent);

curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);

//设置这个选项为一个非零值(象 “Location: “)的头，服务器会把它当做HTTP头的一部分发送(注意这是递归的，PHP将发送形如 “Location: “的头)。

$data = curl_exec($curl);

echo $data;

//echo curl_errno($curl); //返回0时表示程序执行成功

curl_close($curl); //关闭cURL资源，并释放系统资源

拓展资料

PHP（外文名:PHP: Hypertext Preprocessor，中文名：“超文本预处理器”）是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点，利于学习，使用广泛，主要适用于Web开发领域。PHP 独特的语法混合了C、Java、Perl以及PHP自创的语法。它可以比CGI或者Perl更快速地执行动态网页。

用PHP做出的动态页面与其他的编程语言相比，PHP是将程序嵌入到HTML（标准通用标记语言下的一个应用）文档中去执行，执行效率比完全生成HTML标记的CGI要高许多；PHP还可以执行编译后代码，编译可以达到加密和优化代码运行，使代码运行更快。

参考资料：PHP（超文本预处理器)-百度百科

php抓取网页源码方法

可以使用file_get_content函数来获取源代码，你只需要把网站传入这个函数，获取后是一个字符串，你需要格式化代码就可以了

PHP获取网页内容的几种方法

简单的收集下PHP下获取网页内容的几种方法:

用file_get_contents,以get方式获取内容。

用fopen打开url,以get方式获取内容。

使用curl库，使用curl库之前，可能需要查看一下php.ini是否已经打开了curl扩展。

用file_get_contents函数，以post方式获取url。

用fopen打开url，以post方式获取内容。

用fsockopen函数打开url，获取完整的数据，包括header和body。

php获取指定网页内容

一、用file_get_contents函数,以post方式获取url

?php

$url= ”;

$data= array(‘foo’= ‘bar’);

$data= http_build_query($data);

$opts= array(

‘http’= array(

‘method’= ‘POST’,

‘header’=”Content-type: application/x-www-form-urlencoded\r\n”  .

“Content-Length: ”  . strlen($data) . “\r\n”,

‘content’= $data

)

);

$ctx= stream_context_create($opts);

$html= @file_get_contents($url,”,$ctx);

二、用file_get_contents以get方式获取内容

?php

$url=”;

$html= file_get_contents($url);

echo$html;

?

三、用fopen打开url, 以get方式获取内容

?php

$fp= fopen($url,’r’);

$header= stream_get_meta_data($fp);//获取报头信息

while(!feof($fp)) {

$result.= fgets($fp, 1024);

}

echo”url header: {$header} br”:

echo”url body: $result”;

fclose($fp);

?

四、用fopen打开url, 以post方式获取内容

?php

$data= array(‘foo2’= ‘bar2′,’foo3’=’bar3’);

$data= http_build_query($data);

$opts= array(

‘http’= array(

‘method’= ‘POST’,

‘header’=”Content-type: application/x-www-form-

urlencoded\r\nCookie:cook1=c3;cook2=c4\r\n”  .

“Content-Length: ”  . strlen($data) . “\r\n”,

‘content’= $data

)

);

$context= stream_context_create($opts);

$html= fopen(‘;id2=i4′,’rb’,false, $context);

$w=fread($html,1024);

echo$w;

?

五、使用curl库，使用curl库之前，可能需要查看一下php.ini是否已经打开了curl扩展

?php

$ch= curl_init();

$timeout= 5;

curl_setopt ($ch, CURLOPT_URL, ”);

curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);

$file_contents= curl_exec($ch);

curl_close($ch);

echo$file_contents;

?