本文目錄一覽：
爬蟲和python是什麼關係，PHP不能寫嗎
沒什麼關係，只是用python 寫的爬蟲使用比較廣泛
PHP 有一版網頁爬蟲 GOOGLE 下
如何用PHP做網絡爬蟲
其實用PHP來爬會非常方便，主要是PHP的正則表達式功能在搜集頁面連接方面很方便，另外PHP的fopen、file_get_contents以及libcur的函數非常方便的下載網頁內容。
具體處理方式就是建立就一個任務隊列，往隊列裡面插入一些種子任務和可以開始爬行，爬行的過程就是循環的從隊列裡面提取一個URL，打開後獲取連接插入隊列中，進行相關的保存。隊列可以使用數組實現。
當然PHP作為但線程的東西，慢慢爬還是可以，怕的就是有的URL打不開，會死在那裡。
如何用php 編寫網絡爬蟲?
pcntl_fork或者swoole_process實現多進程並發。按照每個網頁抓取耗時500ms，開200個進程，可以實現每秒400個頁面的抓取。
curl實現頁面抓取，設置cookie可以實現模擬登錄
simple_html_dom 實現頁面的解析和DOM處理
如果想要模擬瀏覽器，可以使用casperJS。用swoole擴展封裝一個服務接口給PHP層調用
在這裡有一套爬蟲系統就是基於上述技術方案實現的，每天會抓取幾千萬個頁面。
原創文章，作者：小藍，如若轉載，請註明出處：https://www.506064.com/zh-hant/n/307466.html
微信掃一掃 
支付寶掃一掃 