本文目錄一覽:
python中利用pandas怎麼處理預設值
null/None/NaN
null經常出現在資料庫中
None是Python中的缺失值,類型是NoneType
NaN也是python中的缺失值,意思是不是一個數字,類型是float
在pandas和Numpy中會將None替換為NaN,而導入資料庫中的時候則需要把NaN替換成None
找出空值
isnull()
notnull()
添加空值
numeric容器會把None轉換為NaN
In [20]: s = pd.Series([1, 2, 3])
In [21]: s.loc[0] = None
In [22]: s
Out[22]:
0 NaN
1 2.0
2 3.0
dtype: float641234567891012345678910
object容器會儲存None
In [23]: s = pd.Series([“a”, “b”, “c”])
In [24]: s.loc[0] = None
In [25]: s.loc[1] = np.nan
In [26]: s
Out[26]:
0 None
1 NaN
2 c
dtype: object123456789101112123456789101112
空值計算
arithmetic operations(數學計算)
NaN運算的結果是NaN
statistics and computational methods(統計計算)
NaN會被當成空置
GroupBy
在分組中會忽略空值
清洗空值
填充空值
fillna
DataFrame.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)
參數
value : scalar, dict, Series, or DataFrame
method : {『backfill』, 『bfill』, 『pad』, 『ffill』, None}, default None(bfill使用後面的值填充,ffill相反)
axis : {0 or 『index』, 1 or 『columns』}
inplace : boolean, default False
limit : int, default None
downcast : dict, default is None
返回值
filled : DataFrame
Interpolation
replace
刪除空值行或列
DataFrame.dropna(axis=0, how=』any』, thresh=None, subset=None, inplace=False)
參數
axis : {0 or 『index』, 1 or 『columns』}, or tuple/list thereof
how : {『any』, 『all』}
thresh : int, default None
subset : array-like
inplace : boolean, default False
返回
dropped : DataFrame
python填充缺失值
對於大多數情況而言,fillna方法是最主要的函數。通過一個常數調用fillna就會將缺失值替換為那個常數值。
fillna(value)
參數:value
說明:用於填充缺失值的標量值或字典對象
#通過常數調用fillna
書寫方式:df.fillna(0) #用0替換缺失值
#通過字典調用fillna
書寫方式:df.fillna({1:0.5,3:-1})
fillna(value,inplace=True)
參數:inplace
說明:修改調用者對象而不產生副本
#總是返回被填充對象的引用
書寫方式:df.fillna(0,inplace=True)
fillna(method=ffill)
參數:method
說明:插值方式。如果函數調用時未指定其他參數的話,默認為「ffill」
對reindex有效的那些插值方法也可用於fillna:
In [23]: from numpy import nan as NA
In [21]: df=DataFrame(np.random.randn(6,3))
In [24]: df.ix[2:,1]=NA;df.ix[4:,2]=NA
In [25]: df
Out[25]:
0 1 2
0 -0.863925 1.005127 -0.529901
1 0.701671 -0.501728 -0.617387
2 -0.951060 NaN -0.263626
3 0.810230 NaN -0.277401
4 -0.403899 NaN NaN
5 -0.081091 NaN NaN
In [26]: df.fillna(method=’ffill’)
Out[26]:
0 1 2
0 -0.863925 1.005127 -0.529901
1 0.701671 -0.501728 -0.617387
2 -0.951060 -0.501728 -0.263626
3 0.810230 -0.501728 -0.277401
4 -0.403899 -0.501728 -0.277401
5 -0.081091 -0.501728 -0.277401
fillna(limit=2)
參數:limit
說明:(對於前向和後向填充)可以連續填充的最大數量
In [27]: df.fillna(method=’ffill’,limit=2)
Out[27]:
0 1 2
0 -0.863925 1.005127 -0.529901
1 0.701671 -0.501728 -0.617387
2 -0.951060 -0.501728 -0.263626
3 0.810230 -0.501728 -0.277401
4 -0.403899 NaN -0.277401
5 -0.081091 NaN -0.277401
fillna(data.mean())
只要稍微動動腦子,就可以利用fillna實現許多別的功能。比如說,可以傳入Series的平均值或中位數:
In [28]: data=Series([1,NA,3.5,NA,7])
In [29]: data.fillna(data.mean())
python dataframe 如何去除缺失值
1、導入需要的庫。import pandas as pd,import numpy as np,from sklearn.preprocessing import Imputer。
2、生成缺失數據。data=pd.DataFrame({‘name’:[‘Kite’,’Lily’,’Hanmei’,’Danny’,’Bob’],’English’:[92,78,np.nan,23,82],’Math’:[69,87,91,np.nan,90],’Chinese’:[np.nan,78,96,np.nan,75]}),print(data)。
3、查看缺失值。data.isnull()#查看所有缺失值,data.isnull().any()#獲取含有缺失值的列,data.isnull().all()#獲取全部為NA的列。
4、刪除缺失值。這種處理方式丟失的信息比較多。data2=data.dropna()。print(data2)可以看到,刪除後,僅剩兩行數據。
5、利用sklearn替換缺失值。當缺失值為數值型數據時,可用利用均值來替換。
6、利用pandas替換缺失值。data.fillna(0) #缺失值用0替換。
擴展資料
Python在執行時,首先會將py文件中的源代碼編譯成Python的byte code(位元組碼),然後再由Python Virtual Machine(Python虛擬機)來執行這些編譯好的byte code。這種機制的基本思想跟Java,NET是一致的。
然而,Python Virtual Machine與Java或.NET的Virtual Machine不同的是,Python的Virtual Machine是一種更高級的Virtual Machine。
這裡的高級並不是通常意義上的高級,不是說Python的Virtual Machine比Java或.NET的功能更強大;
說和Java 或NET相比,Python的Virtual Machine距離真實機器的距離更遠。或者可以這麼說,Python的Virtual Machine是一種抽象層次更高的Virtual Machine。
基於C的Python編譯出的位元組碼文件,通常是pyc格式。除此之外,Python還可以以交互模式運行,比如主流操作系統Unix/Linux、Mac、Windows都可以直接在命令模式下直接運行Python交互環境。直接下達操作指令即可實現交互操作。
Python的設計目標之一是讓代碼具備高度的可閱讀性。它設計時盡量使用其它語言經常使用的標點符號和英文單字,讓代碼看起來整潔美觀。
它不像其他的靜態語言如C、Pascal那樣需要重複書寫聲明語句,也不像它們的語法那樣經常有特殊情況和意外。
Python開發者有意讓違反了縮進規則的程序不能通過編譯,以此來強製程序員養成良好的編程習慣。
並且Python語言利用縮進表示語句塊的開始和退出(Off-side規則),而非使用花括弧或者某種關鍵字。增加縮進表示語句塊的開始,而減少縮進則表示語句塊的退出。縮進成為了語法的一部分。
原創文章,作者:小藍,如若轉載,請註明出處:https://www.506064.com/zh-tw/n/206315.html