本文目錄一覽:
- 1、如何使用Python實現爬蟲代理IP池
- 2、python常用的數據分析包有哪些
- 3、Python獲取url中域名及從域名中提取ip的方法
- 4、用python怎麼能解析輸出ifconfig里具體IP地址?
如何使用Python實現爬蟲代理IP池
第一步:找IP資源
IP資源並不豐富,換句話說是供不應求的,因此一般是使用動態IP。
免費方法,直接在網絡上找,在搜索引擎中一搜索特別多能夠提供IP資源的網站,進行採集即可。
付費方法,通過購買芝麻ip上的IP資源,並進行提取,搭建IP池。
第二步,檢測可用IP保存。提取到的IP,可以進一步進行檢測是否可用,比如訪問某個固定的網站,找出訪問成功的IP進行保存。
第三步,隨機調用IP
在爬蟲需要使用IP時,可用讀取保存IP的文件,進行隨機調用IP。
本文介紹了如何建爬蟲的IP池方法,可以說搭建IP池很容易,可有些IP的時效性很短,使用之前還可以再測試一次的。
python常用的數據分析包有哪些
ndarray.ndim
數組軸的個數,在python的世界中,軸的個數被稱作秩
ndarray.shape
數組的維度。這是一個指示數組在每個維度上大小的整數元組。例如一個n排m列的矩陣,它的shape屬性將是(2,3),這個元組的長度顯然是秩,即維度或者ndim屬性
ndarray.size
數組元素的總個數,等於shape屬性中元組元素的乘積。
ndarray.dtype
一個用來描述數組中元素類型的對象,可以通過創造或指定dtype使用標準Python類型。另外NumPy提供它自己的數據類型。
ndarray.itemsize
數組中每個元素的字節大小。例如,一個元素類型為float64的數組itemsiz屬性值為8(=64/8),又如,一個元素類型為complex32的數組item屬性為4(=32/8).
ndarray.data
包含實際數組元素的緩衝區,通常我們不需要使用這個屬性,因為我們總是通過索引來使用數組中的元素。
NumPy-快速處理數據
標準安裝的Python中用列表(list)保存一組值,可以用來當作數組使用,不過由於列表的元素可以是任何對象,因此列表中所保存的是對象的指針。這樣為了保存一個簡單的[1,2,3],需要有3個指針和三個整數對象。對於數值運算來說這種結構顯然比較浪費內存和CPU計算時間。
此外Python還提供了一個array模塊,array對象和列表不同,它直接保存數值,和C語言的一維數組比較類似。但是由於它不支持多維,也沒有各種運算函數,因此也不適合做數值運算。
NumPy的誕生彌補了這些不足,NumPy提供了兩種基本的對象:ndarray(N-dimensional array object)和 ufunc(universal function object)。ndarray(下文統一稱之為數組)是存儲單一數據類型的多維數組,而ufunc則是能夠對數組進行處理的函數。
Python獲取url中域名及從域名中提取ip的方法
這種方法為從urlparse模塊中通過urlparse方法提取url通過hostname屬性獲取當前url的域名。
此方法是通過urllib模塊中splittype方法先從url中獲取到proto協議及rest結果,然後通過splithost從rest中獲取到host及rest結果,此時host為域名。(rest被分割了兩次)如下圖:
此方法為從sokcet模塊中獲取到gethostbyname方法將域名傳遞進去就能解析出域名的ip。
此方法為通過nslookup獲取域名的ip。
以上從域名中提取ip會不準確,需要設置DNS服務器,這樣解析域名就準確了。
用python怎麼能解析輸出ifconfig里具體IP地址?
import socket
hostname = socket.gethostname()
ip = socket.gethostbyname(hostname)
print ip
這就是本機的IP地址
原創文章,作者:小藍,如若轉載,請註明出處:https://www.506064.com/zh-hant/n/285576.html