本文目录一览：
PHP数据采集问题（相对地址转绝对地址）
其实用不着这么麻烦的，采集时，你看到的图片路径是相对地址，是相对当前域名的一个相对路径而已，你只要在前面加上
http://当前域名（采集内容的域名，比如zhidao.baidu.com）/
就是它的绝对地址了，
就像/abc.jpg一样
http://当前域名（采集内容的域名，比如zhidao.baidu.com）/abc.jpg就是绝对地址了
没必要搞复杂
phpcms网站建设中采集的方法，怎么样做采集
工具/原料
PHPCMS
文章采集器
方法/步骤
1、首先我们需要下载并安装GBK格式的PHPCMS系统。
2、下载PHPCMS和文章采集器的接口文件
3、将jiekou.php文件复制到网站的根目录下，并用记事本打开该文件，修改“密码验证”栏目password处的密码
4、启动文章采集器，先点击【第三步发布内容设置】中的”web发布管理配置”
5、在弹出的【web发布配置管理】窗口中单击右侧的【更多】按钮，导入“phpcms9.wpm”配置模块，并选择该模块
6、设置【web发布配置管理】中的编码设置、登录操作、获取分类栏目等选项
7、单击【测试】按钮，在弹出的【发布配置测试】对话框中设置标签和内容的值，此项为必须设置，否则发布测试文章会失败。至此PHPCMS已经与文章采集器连接成功。
php curl 大量数据采集
这个需要配合js，打开一个html页面，首先js用ajax请求页面，返回第一个页面信息确定处理完毕（ajax有强制同步功能），ajax再访问第二个页面。（或者根据服务器状况，你可以同时提交几个URL，跑几个相同的页面）
参数可以由js产生并传递url，php后台页面根据URL抓页面。然后ajax通过php，在数据库或者是哪里设一个标量，标明检测到哪里。由于前台的html页面执行多少时候都没问题，这样php的内存限制和执行时间限制就解决了。
因为不会浪费大量的资源用一个页面来跑一个瞬间500次的for循环了。（你的500次for循环死了原因可能是获取的数据太多，大过了php限制的内存）
不过印象中curl好像也有强制同步的选项，就是等待一个抓取后再执行下一步。但是这个500次都是用一个页面线程处理，也就是说肯定会远远大于30秒的默认执行时间。
怎么用php采集网站数据
简单的分了几个步骤：
1、确定采集目标
2、获取目标远程页面内容（curl、file_get_contents）
3、分析页面html源码，正则匹配你需要的内容（preg_match、preg_match_all），这一步最为重要，不同页面正则匹配规则不一样
4、入库
原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/198570.html
微信扫一扫 
支付宝扫一扫 