本文目錄一覽：
- 1、python 爬蟲 ip池怎麼做
- 2、python如何通過代理伺服器連接mysql?
- 3、如何運行Python腳本這是我上傳在AWS SSH會話的應用程序的一部分
- 4、用python 中的findall如何提取括弧中字元串的內容
- 5、python爬蟲中怎麼寫反爬蟲
- 6、如何使用saml2.0和adfs實施api與cli訪問聯合控制
python 爬蟲 ip池怎麼做
Python爬蟲採集信息都是採用IP進行更改，不然就不能快速的爬取信息，可以加入採用這類方式，就失去了快速抓取的意義。
所以，如果要大批量的抓取信息，就不能避免的使用IP池，針對Python爬蟲使用的IP池，是如何搭建起來的呢？接下來和大家說明一下如何建爬蟲IP池的問題。
第一步：找IP資源
IP資源並不豐富，換句話說是供不應求的，因此一般是使用動態IP。
免費方法，直接在網路上找，在搜索引擎中一搜索特別多能夠提供IP資源的網站，進行採集即可。
付費方法，通過購買芝麻代理上的IP資源，並進行提取，搭建IP池。
第二步，檢測可用IP保存
提取到的IP，可以進一步進行檢測是否可用，比如訪問某個固定的網站，找出訪問成功的IP進行保存。
第三步，隨機調用IP
在爬蟲需要使用IP時，可用讀取保存IP的文件，進行隨機調用IP。
本文介紹了如何建爬蟲的IP池方法，可以說搭建IP池很容易，可有些IP的時效性很短，使用之前還可以再測試一次的。如果考慮免費IP，那麼對於IP的效果性要做好心理準備的。
python如何通過代理伺服器連接mysql?
你的虛擬伺服器不是在aws么，你的mysql應該在aws伺服器上吧，那麼連接mysql就不需要使用代理伺服器，直接使用本地連接就是了。
如果解決了您的問題請採納！
如果未解決請繼續追問
如何運行Python腳本這是我上傳在AWS SSH會話的應用程序的一部分
secureCRT支持運行.js和.vbs以及.py格式的腳本，無奈mac上識別前兩個格式的腳本只能寫一寫Python腳本，
舉個簡單的例子，利用腳本直接ssh連接一台機器，
在View菜單中勾選Button Bar讓這個菜單在下方顯示出來，
在下方的Default右方右鍵出現一個菜單點擊New Button按鈕，在顯示框的Function一欄選擇Run Script中間選擇編寫好的.py文件 ！
用python 中的findall如何提取括弧中字元串的內容
這裡我們用了一個 Python的正則模塊 re.findall來做字元串匹配解決這個問題.
看下正則的流程
首先說下什麼是正則表達式, 正則其實就是對字元串特徵的抽象!!!
當我們的字元串特性變化了,我們不需要大幅度修改程序,只要修改該特徵結構就可以重新匹配我們要的字元.
這裡我們用到了以下幾種類型 正則表達式
字元
邊界
特殊構造
回到題目 我們需要做的是將”(“和”)”之間的字元串匹配出來.
?=[(] 代表 “(” 開始,但不一定是串首
?=[)] 代表 “)” 結束,但不一定是串尾
[^()]+\.[^()]+ 代表 中間含 “.”的字元串, “\.”是”.”轉義字元 “+”代表裡面可以有1個”.”或無數個”.”
最後代碼片斷:
import re
re.findall(“(?=[(])[^()]+\.[^()]+(?=[)])”,text)
python爬蟲中怎麼寫反爬蟲
1、通過UA判斷：UA是UserAgent，是要求瀏覽器的身份標誌。
UA是UserAgent，是要求瀏覽器的身份標誌。反爬蟲機制通過判斷訪問要求的頭部沒有UA來識別爬蟲，這種判斷方法水平很低，通常不作為唯一的判斷標準。反爬蟲非常簡單，可以隨機數UA。
2、通過Cookie判定：Cookie是指會員帳戶密碼登錄驗證
Cookie是指會員帳戶密碼登錄驗證，通過區分該帳戶在短時間內爬行的頻率來判斷。這種方法的反爬蟲也很困難，需要多賬戶爬行。
3、通過訪問頻率判定
爬蟲類經常在短時間內多次訪問目標網站，反爬蟲類機制可以通過單個IP訪問的頻率來判斷是否是爬蟲類。這樣的反爬方式難以反制，只能通過更換IP來解決。
4、通過驗證碼判定
驗證碼是反爬蟲性價比高的實施方案。反爬蟲通常需要訪問OCR驗證碼識別平台，或者使用TesseractOCR識別，或者使用神經網路訓練識別驗證碼。
5、動態性頁面載入
使用動態載入的網站通常是為了方便用戶點擊和查看，爬蟲無法與頁面互動，這大大增加了爬蟲的難度。
一般情況下，用戶對網站進行信息爬取時，都要受到「爬蟲」的約束，使用戶在獲取信息時受到一定的阻礙
如何使用saml2.0和adfs實施api與cli訪問聯合控制
AWS支持使用SAML（安全斷言標記語言） 2.0進行身份聯合。使用SAML，你可以配置你的AWS賬戶與你的身份提供商（IdP）整合。一旦配置，你組織的身份提供商就會對你的聯合用戶進行驗證和授權，然後聯合用戶可以使用單點登錄方法登錄到AWS管理控制台。這不僅可以使你的用戶免於記住另一個用戶名和密碼，也是簡化了管理員的身份管理過程。當你的聯合用戶想訪問AWS管理控制台，這種方法是有效的。但是當他們想使用AWS CLI或以程序方式調用AWS API時，將會怎麼樣呢？
在本文中，我將向你展示如何對你的用戶實施聯合的API與CLI訪問。本帖中提供的舉例使用了AWS Python SDK工具和一些附加的客戶端側的集成代碼。如果你有用戶需要這種訪問控制，實施該方案可以使你對這些用戶的管理輕鬆自如。
讓我們從快速地了解我們的目標開始。
janedoe@Ubuntu64:/tmp$ ./samlapi.py
Username: AD\janedoe
Password: ****************
Please choose the role you would like to assume:
[ 0 ]: arn:aws:iam::012345678987:role/ADFS-Administrators
[ 1 ]: arn:aws:iam::012345678987:role/ADFS-Operators
Selection: 1
—————————————————————
Your new access key pair has been stored in the aws configuration
file /home/janedoe/.aws/credentials under the saml profile.
Note that it will expire at 2015-05-26T17:16:20Z.
After this time you may safely rerun this script to refresh your
access key pair.
To use this credential call the aws cli with the –profile option
(e.g. aws –profile saml ec2 describe-instances).
—————————————————————
Simple API example listing all s3 buckets:
[Bucket: mybucket1, Bucket: mybucket2, Bucket: mybucket3,
Bucket: mybucket4, Bucket: mybucket5]
從上面的輸出結果中我們清楚地看到了什麼？
1. 系統提示聯合用戶輸入Active Directory（動態目錄）證書。這些證書用來與配置的IdP進行比較以對用戶進行驗證和授權。
2. 系統檢查返回的SAML斷言，確定用戶被授權承擔的IAM（身份及訪問管理）角色。用戶選擇了她期望的角色後，系統使用AWS STS（安全令牌服務）提取臨時的安全證書。
3. 系統自動地將這些證書寫入她本地的AWS證書文件，她可以開始發出AWS API或CLI調用指令。
4. 得到該樣例，為你的組織對樣例進行定製後，你就可以在保持AWS IAM服務提供的控制的同時，使用組織的證書來提高你的AWS API和CLI界面的能力和自動化程度。
本帖將會集中講述如何使用微軟動態目錄聯合服務（AD FS）。但是如果你正在使用其他供應商的同類產品，請不要感到失望因為基本的組件應該可以與其他常見的IdP配合運轉的。
為了能夠緊跟本帖的講述，你必須已經：
入門
1. 使用你的組織證書將AD FS正確地與你的AWS賬戶進行了集成，以便能夠訪問控制台。如果你需要設置說明，請參考 Enabling Federation to AWS using Windows Active Directory, ADFS, and SAML 2.0。
2. 已在本地工作站安裝了新版本（2.36或更新）的AWS Python SDK工具。
3. 獲取了最小限度的AWS證書文件（例如：~/.aws/credentials），並將文件中的如下內容調整到你首選的區域和輸出格式。
重要提示：AWS訪問密鑰對並沒有在上面的結構中配置因為最初的AWS STS調用是由值得信任的IdP返回的SAML斷言進行驗證的。所有後續的API/CLI調用都是由包含在AWS STS令牌中的密鑰對進行驗證的。想要獲取更多信息，請參考 Giving AWS Console Access to Federated Users Using SAML
首先，你需要安裝不屬於Python核心發行版的兩個模塊，具體說，就是beautifulsoup4和requests-ntlm。有若干種方法可以安裝著兩個模塊，但是包含在Python 2.7.9或更新版本中的pip工具，使模塊安裝變得很容易。你只需運行如下兩個命令即可：
[default]
output = json
region = us-west-2
aws_access_key_id =
aws_secret_access_key =
首先運行下面的命令：
upip install beautifulsoup4/u
然後運行下面的命令：
pip install requests-ntlm
你應該會得到一些與如下截圖類似的輸出結果：
AWS聯合過程利用IdP發起的登錄方法。在最後的準備步驟中，你需要確定具體的被用來引發登錄的URL。以基本的IdP引發登錄的URL為起點（該URL就是你用來聯合訪問SAML依賴各方的URL，SAML依賴各方包括AWS管理控制台）。在本例中，我使用的是AD FS 2.0。在該版本中，URL的格式為of;fqdn/adfs/ls/IdpInitiatedSignOn.aspx。如果我將該URL輸入瀏覽器的地址欄，我將會看到一個網站選擇頁面，
為了構造你所需的URL，將原來的IdP引發登錄URL與查詢字元串?loginToRp=urn:amazon:webservices連接。構造好的URL應呈現的形式是of;fqdn/adfs/ls/IdpInitiatedSignOn.aspx?loginToRp=urn:amazon:webservices。保存該URL因為在後面的敘述中它將被稱為idpentryurl變數。如果你將這個串聯的URL輸出瀏覽器的地址欄，你應該仍然可以實現AD FS IdP引發登錄過程。但是，你繞過了網站選擇頁面，在驗證完演練所需的URL後直接進入AWS管理控制台。如果感興趣的話，你可以訪問Microsoft』s website去查看關於查詢字元串的文檔。
重要提示：務必密切注意URL中主機名稱的大寫。AD FS在驗證過程中會使用主機名稱，任何在大小寫方面的不匹配都會導致驗證失敗。
檢查代碼
既然你已經瀏覽了上面「入門」部分的步驟，你可以開始組合控制聯合API與CLI訪問的集成代碼了。我將會詳細地解釋這一過程以便你可以跟隨我的節奏。首先，讓我們進行一些基本的導入和變數設置。
#!/usr/bin/python
import sys
import boto.sts
import boto.s3
import requests
import getpass
import ConfigParser
import base64
import xml.etree.ElementTree as ET
from bs4 import BeautifulSoup
from os.path import expanduser
from urlparse import urlparse, urlunparse
from requests_ntlm import HttpNtlmAuth
##########################################################################
# Variables
# region: The default AWS region that this script will connect
# to for all API calls
region = ‘us-west-2’
# output format: The AWS CLI output format that will be configured in the
# saml profile (affects subsequent CLI calls)
outputformat = ‘json’
# awsconfigfile: The file where this script will store the temp
# credentials under the saml profile
awsconfigfile = ‘/.aws/credentials’
# SSL certificate verification: Whether or not strict certificate
# verification is done, False should only be used for dev/test
sslverification = True
# idpentryurl: The initial URL that starts the authentication process.
idpentryurl = ‘;fqdn/adfs/ls/IdpInitiatedSignOn.aspx?loginToRp=urn:amazon:webservices’
##########################################################################
將上述代碼中的變數調整為針對你的具體的區域（如us-west-2，us-east-1等等）和格式喜好（例如json，文本，或表格），然後插入本帖中上一部分變數idpentryurl的值。
基本環境搭建起來後，提示用戶，從標準輸入中檢索用戶的證書。在本帖的後面我將會討論我們是如何支持其他的證書形式的。
# Get the federated credentials from the user
print “Username:”,
username = raw_input()
password = getpass.getpass()
print ”
位於第一行列印語句「Username」後面的逗號可能看起來像是一個缺陷，實際上它是Python為了防止第一行列印語句添加換行符而使用的小技巧。你也將會注意到getpass()這一方法的使用，這一方法是為了防止密碼被顯示在輸出結果中。
下一步，我們使用Python請求模塊組合驗證信息，用公式表示向IdP發送的HTTPS請求，正如下面的片段所示。假設驗證成功，AD FS返回的響應消息會包含SAML斷言。
原創文章，作者：簡單一點，如若轉載，請註明出處：https://www.506064.com/zh-tw/n/128025.html
微信掃一掃 
支付寶掃一掃 
