一、讀取文本文件
pd.read_table是pandas庫中用於讀取文本文件的方法,它可以從磁盤上讀取txt、csv等格式的文件進入內存中進行操作。我們可以根據文件的格式來選擇合適的讀取方法。
對於普通的文本文件,可以直接使用pd.read_table方法讀取,例如:
import pandas as pd
df = pd.read_table('example.txt')
print(df)
這裡我們將example.txt讀入內存,並打印輸出。值得注意的是,如果文件比較大,直接讀入可能會導致內存溢出,此時可以考慮使用pd.read_table中的一些參數進行二次改造。
二、自定義分隔符
pd.read_table方法默認的分隔符是製表符(\t),但實際情況中往往會遭遇到文本之間的分隔符並不是這樣的情況,為此我們需要自定義分隔符來讀取文件。
import pandas as pd
df = pd.read_table('example.csv',sep=',')
print(df)
這裡我們將example.csv作為示例文件,其中以逗號作為分隔符。將sep參數設置為’,’即可正確地讀取文件。同樣的道理,如果文件的分隔符是其他字符,也可以使用sep參數來進行設置。
三、設置文件頭
有些文件並不包含文件頭或者文件頭中不包含任何信息,為方便數據處理我們需要自定義文件的列名和數據類型。可以在pd.read_table方法中使用header和names參數來進行設置。
import pandas as pd
df = pd.read_table('example.txt',header=None,names=['name','age','gender'])
print(df)
這裡我們將example.txt作為示例文件,並將列名設置為name、age和gender。
四、跳過行
文件中有時會包含一些無用的信息,比如注釋信息或者描述信息,這些信息並不包含實際的數據。為了方便數據處理,我們可以使用skiprows參數來進行跳過。
import pandas as pd
df = pd.read_table('example.txt',skiprows=3)
print(df)
這裡我們將example.txt作為示例文件,跳過文件的前三行不進行讀取。
五、缺失值處理
在讀取文件的過程中,經常會遇到文件中含有缺失值的情況,這時候我們需要進行缺失值處理。
import pandas as pd
df = pd.read_table('example.csv',na_values=['-'])
print(df)
在這個例子中,我們將example.csv作為示例文件,並將其中的’-‘替換成NaN作為缺失值進行處理。
六、設置數據類型
默認情況下,pandas會自動推斷文件中的每一列的數據類型,這樣一來有時候會出現數據類型不對的情況,為此我們需要進行手動設置。
import pandas as pd
df = pd.read_table('example.txt',dtype={'age':float})
print(df.dtypes)
在這個例子中,我們將example.txt作為示例文件,將其中的age列的數據類型設置為float類型。
七、讀取部分數據
當文件過大時,在讀取文件時有時候不需要全部讀入,只需要讀取部分內容即可完成數據處理。可以使用nrows參數來進行讀取部分數據。
import pandas as pd
df = pd.read_table('example.csv',nrows=5)
print(df)
在這個例子中,我們將example.csv作為示例文件,只讀取前五行數據。
原創文章,作者:UVGC,如若轉載,請註明出處:https://www.506064.com/zh-hk/n/143670.html