1、第一個示例，我們要來進行簡單的爬蟲來爬別人的網頁
這是爬回來的網頁輸出：
這中間到底發生了什麼事呢？讓我們打開Fiddler來看看吧：
左邊標紅的就表示我們本次訪問成功，為http 200
右邊上方這是python生成 的請求報頭，不清楚看下面：
很簡單的一個報頭，然後再來看看響應回來的html
這裡響應回來的就是我們上面在python的idle中打印出來的網頁了！
2、偽裝成瀏覽器來爬網頁
有些網頁，比如登錄的。如果你不是從瀏覽器發起的起求，這就不會給你響應，這時我們就需要自己來寫報頭。然後再發給網頁的服務器，這時它就以為你就是一個正常的瀏覽器。從而就可以爬了！
3、爬取網站上的圖片
Python3.x 自動登錄
python3.4代碼編寫：
來看看結果：
這時運行返回的
原創文章，作者：投稿專員，如若轉載，請註明出處：https://www.506064.com/zh-hant/n/284425.html
微信掃一掃
支付寶掃一掃
有許多小夥伴在購入新的筆記本電腦之前，都會問有沒有必要買MacBook？幾年過去，這個問題依舊困擾着不少人，且如何選擇適合自己的MacBook也是一個難題，今天的內容希望能給小夥伴…
500L大容積無霜冰箱，包郵價僅售1998元，擊破行業同品類冰箱最低價！國民家電格蘭仕近日重磅推出的命名為“合家歡”的超低價大冰箱，迅速成為“網紅“冰箱”。據悉，Galanz+ A…
在90後的青蔥歲月，比起昂貴的阿迪耐克，李寧、安踏、特步、361、鴻星爾克等國產運動品牌一直是中國普通人的首選。經過二十年的發展，李寧和安踏早已成為國貨潮牌的驕傲。 曾經與安踏並駕…
有一種鞋，即使鞋櫃中已有了同款，還要各個顏色囤上一雙——沒錯，這種鞋就叫做帆布鞋！即使潮流如何更替，帆布鞋卻依舊能能牢牢佔據鞋櫃一角，超強的百搭型及實穿性更讓它成為明星或時尚達人們…
中國人用筷子3000多年。小小一雙筷子，不僅承載着中國人的情感和記憶。它更是中國人，一日三餐必不可少的餐具。 木製和竹製的筷子結實、輕便，所以成了很多家庭的首選，但這些筷子用一段時…
窮人就不能逆襲了嗎？能，現在就是好多的創業者就是被窮給逼出來的，正所謂“窮則思變”。時代賦予了我們太多的責任，我們沒有趕上分配工作，沒有趕上分配房子，我們就不得已走上創業的道路，為…
阿里巴巴的運營能力一直被業界稱道。從誕生之初，阿里巴巴就以促使雙方成交為目的，自然之中運營。最早創立的“雙十一”。 商業模式應該有兩個概念：一個是大概念，即企業從事經營活動的所有方…
大學生就業難，早已不是什麼新鮮的話題，在“大眾創業，萬眾創新”的大環境下，許多大學生開始走上了自主創業的道路。然後如果家裡沒有一定的底子的話，創業之路並不是那麼好走的，好在國家在這…
我2009年創辦創新工場，從跨國公司高管變成本土創業者。雖然早年成名，但就創業而言也是新兵。往事回想起來，一地的心酸。 比如：“VC+孵化”模式被質疑，飛遍全球才融到第一筆基金，剛…
無論是辦公，還是學習，都經常用到移動存儲，把東西複製來粘貼去的，這時候，你一般用的是U盤？還是說移動硬盤呢？還是說，你目前需要買，但正在糾結買哪一個，卻又不知道如何挑選呢？如果你處…
