本文目錄一覽:
怎麼用python抓取網頁並實現一些提交操作?
下面這個程序是抓取網頁的一個例子,MyOpener類是為了模擬瀏覽器客戶端,並採用隨機選取的方式以防網站將你認為是機器人。
MyFunc函數抓取你指定的url,並提取了其中的href鏈接,圖片的獲取類似,一般是img src=xxx這樣的形式,其他的功能應該也不難,去網上搜下應該有些例子。
import re
from urllib import FancyURLopener
from random import choice
user_agents = [
‘Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11’,
‘Opera/9.25 (Windows NT 5.1; U; en)’,
‘Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)’,
‘Mozilla/5.0 (compatible; Konqueror/3.5; Linux) KHTML/3.5.5 (like Gecko) (Kubuntu)’,
‘Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12’,
‘Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9’
]
class MyOpener(FancyURLopener, object):
version = choice(user_agents)
def MyFunc(url):
myopener = MyOpener()
s = myopener.open(url).read()
ss=s.replace(“\n”,” “)
urls=re.findall(r”a.*?href=.*?\/a”,ss,re.I)#尋找href鏈接
for i in urls:
do sth.
Python腳本在Windows下後台運行
Python腳本在Linux後台執行加個就行了
在Windows起Python服務總有不暢
查了一下,可以用start /b python xxx.py後台運行,
這招雖然不影響cmd操作,但是關閉cmd窗口後服務也死了
解決這個問題挺麻煩的,需要以Windows服務的方式掛起來
第一步,將Python腳本打包成exe可執行文件,詳見:
用python加cPAMIE加pyinstaller為我柱哥點贊
打包成exe文件以後,cmd執行
python:import cPAMIE 用到哪個模塊
PAMIE的全稱是Python Automated Module For Internet Explorer,顧名思義,PAMIE是一個實現IE自動化的模塊。
PAMIE的官方網站提供了最新模塊的下載,但由於是個人開發的緣故,其他文檔,常見問題解答之類的基本沒有更新,在下載最新版本之後,主頁上提供的資料有好多是錯的,大家在用的時候要務必注意這一點,最明顯的一個例子是我上篇文章裡面說的,還有一些方法名字已經更換。使用的時候,要多查查PAM30.py!
原創文章,作者:小藍,如若轉載,請註明出處:https://www.506064.com/zh-tw/n/301743.html