本文目錄一覽:
- 1、Python3安裝.whl文件時遇到的超時錯誤
- 2、ElasticSearch Python Client ReadTimeout 解決辦法
- 3、python爬蟲怎麼處理異常和超時
- 4、求助關於python 的socket.timeout: timed out錯誤問題:
- 5、python里並發執行協程時部分阻塞超時怎麼辦
- 6、python運行錯誤怎麼辦?
Python3安裝.whl文件時遇到的超時錯誤
解決辦法:
個人總結:
Python安裝庫的時候的三種方式
ElasticSearch Python Client ReadTimeout 解決辦法
ElasticSearch Python Client API,Bulk操作時,當ElasticSearch服務端的性能不足時,Client可能會超時,打印類似異常:
簡單的解決方法是加入timeout和重試相關參數(參考: )
Increase the default timeout Globally when you create the ES client by passing the timeout parameter. Example in Python
Set the timeout per request made by the client. Taken from Elasticsearch Python docs below.
only wait for 1 second, regardless of the client’s default
我設置timeout=100,max_retries=3,因為,當ElasticSearch在做大量查詢的時候,會消耗掉所有的讀IO,此時bluk數據,可能POST成功,但等待服務端返回確認結果timeout了,如果timeout時間設置太短,而max_retries設置太多,會導致數據重複插入max_retries次。
這裡顯示,默認max_retries為3,retry_on_timeout為False,retry_on_status為(502, 503, 504)。
可以看出,這裡原來默認timeout只有10秒。
python爬蟲怎麼處理異常和超時
不管是什麼程序,python使用tryexcept語句來處理異常。tryexcept語句不僅僅是要讓其捕獲異常更重要的是讓其忽略異常,因為爬蟲中的絕大多數異常可能重新請求就不存在,因此,發現異常的時候將其任務隊列進行修復其實是個最省力的好辦法。
求助關於python 的socket.timeout: timed out錯誤問題:
最好是先設置好超時時間
socket.setdefaulttimeout 或者urllib2.socket.setdefaulttimeout
來設置默認超時時間
也可以直接指定
urlopen(url, data=None, timeout=object object)
我在win下也寫過python腳本,一旦except到了指定錯誤,腳本標會退出
這樣不會出錯
try:
pass
except:
do something
但不是你的本意了
linux操作是沒有這個問題的
希望可以幫到你
python里並發執行協程時部分阻塞超時怎麼辦
碰到這種需求時不要驚慌,可以使用wait()里的timeout參數來設置等待時間,也就是從這個函數開始運行算起,如果時間到達協程沒有執行完成,就可以不再等它們了,直接從wait()函數里返回,返回之後就可以判斷那些沒有執行成功的,可以把這些協程取消掉。例子如下
import asyncio
async def phase(i):
print(‘in phase {}’.format(i))
try:
await asyncio.sleep(0.1 * i)
except asyncio.CancelledError:
print(‘phase {} canceled’.format(i))
raise
else:
print(‘done with phase {}’.format(i))
return ‘phase {} result’.format(i)
async def main(num_phases):
print(‘starting main’)
phases = [
phase(i)
for i in range(num_phases)
]
print(‘waiting 0.1 for phases to complete’)
completed, pending = await asyncio.wait(phases, timeout=0.1)
print(‘{} completed and {} pending’.format(
len(completed), len(pending),
))
# Cancel remaining tasks so they do not generate errors
# as we exit without finishing them.
if pending:
print(‘canceling tasks’)
for t in pending:
t.cancel()
print(‘exiting main’)
event_loop = asyncio.get_event_loop()
try:
event_loop.run_until_complete(main(3))
finally:
event_loop.close()
結果輸出如下:
starting main
waiting 0.1 for phases to complete
in phase 0
in phase 2
in phase 1
done with phase 0
1 completed and 2 pending
canceling tasks
exiting main
phase 1 canceled
phase 2 canceled
python運行錯誤怎麼辦?
一、python的錯誤處理:
在程序運行的過程中,如果發生了錯誤,可以事先約定返回一個錯誤代碼,這樣,就可以知道是否有錯以及出錯的原因。
在操作系統提供的調用中,返回錯誤碼非常常見。比如打開文件的函數open(),成功時返迴文件的描述符(就是一個整數),出錯時返回-1用錯誤碼來表示是否出錯十分不便,因為函數本身應該返回的正常結果和錯誤碼混在一起,造成調用者必須大量的代碼來判斷是否出錯:def foo():
r = somefunction() if r == (-1): return (-1) return rdef bar():
r = foo() if r == (-1): print(“Error”) else: pass一旦出錯,還要一級一級上報,直到某個函數可以處理該錯誤(比如,給用戶輸出一個錯誤信息)
所以,高級語言通常都內置了一套try…except…finally…的錯誤處理機制,python也不例外。try
讓我們用一個例子來看看try的機制try: print(“try….”)
r = 10 / 0 print(“result”, r)except ZeroDivisionError as e: print(“except:”, e)finally: print(“finally…”)print(“END….”)
當我們認為某些代碼可能會出錯時,就可以用try來運行這段代碼,如果執行出錯,則後續代碼不會繼續執行
而是直接跳轉至錯誤處理代碼,即except語句塊
執行完except後,如果有finally語句塊,則執行finally語句塊,至此,執行完畢。
上面的代碼在計算10 / 0時 會產生一個除法運算錯誤:try….except: division by zerofinally…
END….從輸出可以看到,當錯誤發生時,後續語句print(“result:”, r)不會被執行,except由於捕獲到ZeroDivisionError因此被執行。
最後,finally語句被執行。然後,程序繼續按照流程往下走。
如果把除數0 變成2,則執行結果如下try….
result 5.0finally…
END….由於沒有錯誤發生,所以except語句塊不會被執行,但是finally如果有則一定會被執行,當然finally也可以沒有
你還可以猜測,錯誤應該有很多種類,日過發生了不同類型的錯誤,應該由不同的except語句塊處理。
沒錯,可以有多個except來捕獲不同類型的錯誤:try: print(“try…..”)
r = 10 / int(“a”) print(“result:”, r)except ValueError as e: print(“ValueError:”, e)except ZeroDivisionError as e: print(“ZeroDivisionError:”, e)finally: print(“finally…”)print(“END…”)
int()函數可能會拋出ValueError,所以我們用一個except捕獲ValueError,用另一個except捕獲ZeroDivisionError
此外,如果沒有錯誤發生,可以再except語句塊後面加一個else,當沒有錯誤發生時,會自動執行else語句。try: print(“try…”)
r = 10 / int(“2”) print(“result:”, r)except ValueError as e: print(“ValueError:”, e)except ZeroDivisionError as e: print(“ZeroDivisionError:”, e)else: print(“No error!”)finally: print(“finally…”)print(“END”)
python的錯誤其實也是class,所有的錯誤類型都繼承自BaseException,
所以在使用except時需要注意的是,它不但捕獲該類型的錯誤,還把其子類也“一網打盡”。
比如:try:
foo()except ValueError as e: print(“ValueError”)except UnicodeError as e: print(“UnicodeError”)
第二個except永遠也捕獲不到UnicodeError, 因為UnicodeError是ValueError的子類
如果有,也是被第一個except給捕獲了。
python所有的錯誤都是BaseException類派生的。
所有常見的錯誤類型和繼承關係看這裡:
使用try…exccept捕獲錯誤還有一個巨大的好處,就是可以跨越多層調用,比如函數main()調用foo()
foo()調用bar(),結果bar()出錯了,這時,只要main()捕獲到了,就可以處理:def foo(s): return 10 / int(s)def bar(s): return foo(s) * 2def main(): try:
bar(“0”) except Exception as e: print(“Error:”, e) finally: print(“finally…”)
也就是說,不需要在每個可能出錯的地方去捕獲異常,只要在合適的層次去捕獲就可以了。
這樣一來,就大大減少了寫 try…except…finally的麻煩。
二、調用堆棧
如果錯誤沒有被捕獲,他就會一直往上拋,最後被python解釋器捕獲,打印一個錯誤信息,然後程序退出。def foo(s): return 10 / int(s)def bar(s): return foo(s) * 2def main():
bar(“0”)
main()
執行結果為:
Traceback (most recent call last):
File “C:/Python36/test.py”, line 10, in module
main()
File “C:/Python36/test.py”, line 8, in main
bar(“0”)
File “C:/Python36/test.py”, line 5, in bar return foo(s) * 2
File “C:/Python36/test.py”, line 2, in foo return 10 / int(s)
ZeroDivisionError: division by zero
出錯並不可怕,可怕的時不知道哪裡出錯了。解讀錯誤信息時定位錯誤的關鍵。
我們從上往下可以看到整個錯誤的調用函數鏈。
錯誤第一行:
Traceback (most recent call last):
這告訴我們的是錯誤的跟蹤信息。
File “C:/Python36/test.py”, line 10, in module main()
說明調用main()出錯了,在代碼文件test.py中第10行,但是原因是第8行:
File”C:/Python36/test.py”, line8, in main
bar(“0”)
調用bar(“0”)出錯了,在代碼文件test.py中第8行,但原因是第5行:
File”C:/Python36/test.py”, line5, in barreturn foo(s) * 2調用return foo(s) * 2時出錯了,在test.py中第5行,但原因是第2行
File “C:/Python36/test.py”, line 2, in foo return 10 / int(s)
ZeroDivisionError: division by zero
這時我們找到了源頭,原來在第2行調用return 10 / int(s)出錯了,錯誤為ZeroDivisionError
三、記錄錯誤
如果不捕獲錯誤,自然可以讓python解釋器來打印出錯誤堆棧,但是程序也被結束了。
既然我們能捕獲錯誤,就可以把錯誤堆棧打印出來,然後分析錯誤原因,同時,讓程序繼續執行下去。
python內置的logging模塊可以非常容易地記錄錯誤信息:import loggingdef foo(s): return 10 / int(s)def bar(s): return foo(s) * 2def main(): try:
bar(“0”) except Exception as e:
logging.exception(e)
main()print(“END”)
輸出結果為:
ERROR:root:division by zero
Traceback (most recent call last):
File “C:/Python36/test.py”, line 12, in main
bar(“0”)
File “C:/Python36/test.py”, line 8, in bar return foo(s) * 2
File “C:/Python36/test.py”, line 5, in foo return 10 / int(s)
ZeroDivisionError: division by zero
END
同樣是出錯,但程序打印完錯誤信息後會繼續執行,並正常退出。
通過配置,logging還可以把錯誤記錄到日誌文件里,方便事後排查。
四、拋出錯誤
因為錯誤是class,捕獲一個錯誤就是捕獲到該class的一個實例。
因此,錯誤並不是憑空產生的,而是有意創建並拋出的。
python的內置函數會拋出很多類型的錯誤,我們自己編寫的函數也可以拋出錯誤。
如果要拋出錯誤,首先根據需要,可以定義一個錯誤的class,選擇好繼承關係,然後用raise語句拋出一個錯誤的實例:class FooError(ValueError): passdef foo(s):
n = int(s) if n == 0: raise FooError(“invalid value: %s” % s) return 10 / n
foo(“0”)
輸出結果:
Traceback (most recent call last):
File “C:/Python36/test.py”, line 10, in module
foo(“0”)
File “C:/Python36/test.py”, line 7, in foo raise FooError(“invalid value: %s” % s)
FooError: invalid value: 0
只有在必要的時候才定義我們自己的錯誤類型。
如果可以選擇python已有的內置錯誤類型(比如ValueError, TypeError),盡量使用python內置的錯誤類型。
最後,我們來看另一種錯誤處理方式:def foo(s):
n = int(s) if n == 0: raise ValueError(“invalid value: %s” % s) return 10 / ndef bar(): try:
foo(“0”) except ValueError as e: print(“ValieError”) raisebar()
在bar()函數中,我們明明已經捕獲了錯誤,但是,打印一個ValueError之後
又通過raise語句拋出去了。這不是有病嗎
其實,這種錯誤處理方式不但沒病,而且相當常見。
捕獲錯誤目的只是記錄一下,便於或許追蹤。
但是,由於當前函數不知道應該怎麼處理該錯誤,所以,最恰當的方式是繼續往上拋,讓頂層調用者去處理。
好比一個員工處理不了一個問題時,就把問題一直往上拋,最終會拋給CEO去解決。
注意:raise語句如果不帶參數,就會把當前錯誤原樣拋出。
此外,在except中raise一個Error,還可以改寫錯誤類型try: 10 / 0except ZeroDivisionError: raise ValueError(“do not input zero!”)
輸出結果:
Traceback (most recent call last):
File “C:/Python36/test.py”, line 4, in module raise ValueError(“do not input zero!”)
ValueError: do not input zero!只要是合理的轉換邏輯就可以,但是,絕不應該把一個IOError轉成毫不相干的valueError.
總結:
python內置的 try…except…finally 用來處理錯誤十分方便。
出錯時,會分析錯誤信息並定位錯誤發生的代碼位置才是關鍵的。
程序也可以主動拋出錯誤,讓調用者來處理相應的錯誤。
但是應該在文檔中寫清楚可能會拋出哪些錯誤,以及錯誤產生的原因。
原創文章,作者:小藍,如若轉載,請註明出處:https://www.506064.com/zh-hant/n/181783.html