本文目錄一覽:
- 1、python中如何提取一組數據中的第一列數據
- 2、python提取excel表中的數據兩列
- 3、python中如何將表中的數據做成一張表,然後再從中取出數據?
- 4、怎樣用python,讀取excel中的一列數據
python中如何提取一組數據中的第一列數據
概述
直接提取會報錯,把array數組轉換成list,即可提取,使用numpy轉換
步驟詳解
1、直接提取嘗試:
group=[[1,2],[2,3],[3,4]]
#提取第一列元素
print(group[:,1])
#Out:TypeError: list indices must be integers or slices, not tuple
2、使用numpy轉換:
import numpy as np
group=[[1,2],[2,3],[3,4]]
#numpy轉化
ar=np.array(group)
print(ar[:,1])
#Out:[2 3 4]
拓展內容
numpy詳解
Numpy對象是數組,稱為ndarray
維度(dimensions)稱作軸(axes),軸的個數叫做秩(rank)。註:有幾級中括號就有幾個維度
一、ndarray.attrs:
ndarray.ndim 秩
ndarray.shape 例如一個2排3列的矩陣,它的shape屬性是(2,3)
ndarray.size 數組元素的總個數
ndarray.dtype 元素類型,NumPy提供自己的數據類型
ndarray.itemsize 數組中每個元素的字節大小
二、數組創建函數:
array
asarray將輸入轉換成ndarray
arange
ones
zeros
empty 只分配內存空間不填充任何值
eye 創建N*N單位矩陣(對角線為1)
三、數組和標量之間的運算
numpy數組的一個特點,不用編寫循環就可對數據執行批量運算,這通常稱作矢量化(vectorization)。
四、基本的索引和切片
numpy數組的索引是一個內容豐富的主題,因為選取數據子集或單個元素的方式有很多。這裡我僅詳細介紹常用的方法,對於高級功能的方式我列舉名稱,讀者可以等到要用的時候自行查閱資料。
python提取excel表中的數據兩列
1、首先打開excel表格,在單元格中輸入兩列數據,需要將這兩列數據進行比對相同數據。
2、然後在C1單元格中輸入公式:=VLOOKUP(B1,A:A,1,0),意思是比對B1單元格中A列中是否有相同數據。
3、點擊回車,即可將公式的計算結果顯示出來,可以看到C1中顯示的是B1在A列中找到的相同數據。
4、將公式向下填充,即可發現C列中顯示出的數字即為有相同數據的,顯示“#N/A”的為沒有找到匹配數據的。
5、將C1-C4中的數據進行複製並粘貼成數值,即可完成相同數據的提取操作。
在實際研究中,我們經常需要獲取大量數據,而這些數據很大一部分以pdf表格的形式呈現,如公司年報、發行上市公告等。面對如此多的數據表格,採用手工複製黏貼的方式顯然並不可取。那麼如何才能高效提取出pdf文件中的表格數據呢?
Python提供了許多可用於pdf表格識別的庫,如camelot、tabula、pdfplumber等。綜合來看,pdfplumber庫的性能較佳,能提取出完整、且相對規範的表格。因此,本推文也主要介紹pdfplumber庫在pdf表格提取中的作用。
作為一個強大的pdf文件解析工具,pdfplumber庫可迅速將pdf文檔轉換為易於處理的txt文檔,並輸出pdf文檔的字符、頁面、頁碼等信息,還可進行頁面可視化操作。使用pdfplumber庫前需先安裝,即在cmd命令行中輸入:
pip install pdfplumber
pdfplumber庫提供了兩種pdf表格提取函數,分別為.extract_tables( )及.extract_table( ),兩種函數提取結果存在差異。為進行演示,我們網站上下載了一份短期融資券主體信用評級報告,為pdf格式。任意選取某一表格,其界面如下:
接下來,我們簡要分析兩種提取模式下的結果差異。
(1).extract_tables( )
可輸出頁面中所有表格,並返回一個嵌套列表,其結構層次為table→row→cell。此時,頁面上的整個表格被放入一個大列表中,原表格中的各行組成該大列表中的各個子列表。若需輸出單個外層列表元素,得到的便是由原表格同一行元素構成的列表。例如,我們執行如下程序:
輸出結果:
(2).extract_table( )
返回多個獨立列表,其結構層次為row→cell。若頁面中存在多個行數相同的表格,則默認輸出頂部表格;否則,僅輸出行數最多的一個表格。此時,表格的每一行都作為一個單獨的列表,列表中每個元素即為原表格的各個單元格內容。若需輸出某個元素,得到的便是具體的數值或字符串。如下:
輸出結果:
在此基礎上,我們詳細介紹如何從pdf文件中提取表格數據。其中一種思路便是將提取出的列表視為一個字符串,結合Python的正則表達式re模塊進行字符串處理後,將其保存為以標準英文逗號分隔、可被Excel識別的csv格式文件,即進行如下操作:
輸出結果:
儘管能獲得完整的表格數據,但這種方法相對不易理解,且在處理結構不規則的表格時容易出錯。由於通過pdfplumber庫提取出的表格數據為整齊的列表結構,且含有數字、字符串等數據類型。因此,我們可調用pandas庫下的DataFrame( )函數,將列錶轉換為可直接輸出至Excel的DataFrame數據結構。DataFrame的基本構造函數如下:
DataFrame([data,index, columns])
三個參數data、index和columns分別代表創建對象、行索引和列索引。DataFrame類型可由二維ndarray對象、列表、字典、元組等創建。本推文中的data即指整個pdf表格,提取程序如下:
其中,table[1:]表示選定整個表格進行DataFrame對象創建,columns=table[0]表示將表格第一行元素作為列變量名,且不創建行索引。輸出Excel表格如下:
通過以上簡單程序,我們便提取出了完整的pdf表格。但需注意的是,面對不規則的表格數據提取,創建DataFrame對象的方法依然可能出錯,在實際操作中還需進行核對。
關於我們
微信公眾號“爬蟲俱樂部”分享實用的stata命令,歡迎轉載、打賞。爬蟲俱樂部是由李春濤教授領導下的研究生及本科生組成的大數據分析和數據挖掘團隊。
投稿要求:
1)必須原創,禁止抄襲;
2)必須準確,詳細,有例子,有截圖;
python中如何將表中的數據做成一張表,然後再從中取出數據?
第一部分是生成數據表,常見的生成方法有兩種,第一種是導入外部數據,第二種是直接寫入數據。 Excel 中的文件菜單中提供了獲取外部數據的功能,支持數據庫和文本文件和頁面的多種數據源導入。
獲取外部數據
python 支持從多種類型的數據導入。在開始使用 python 進行數據導入前需要先導入 pandas 庫,為了方便起見,我們也同時導入 numpy 庫。
1 import numpy as np
2 import pandas as pd
導入數據表
下面分別是從 excel 和 csv 格式文件導入數據並創建數據表的方法。代碼是最簡模式,裡面有很多可選參數設置,例如列名稱,索引列,數據格式等等。感興趣的朋友可以參考 pandas 的
官方文檔。
1 df=pd.DataFrame(pd.read_csv(‘name.csv’,header=1))
2 df=pd.DataFrame(pd.read_excel(‘name.xlsx’))
創建數據表
另一種方法是通過直接寫入數據來生成數據表,excel 中直接在單元格中輸入數據就可以,python 中通過下面的代碼來實現。生成數據表的函數是 pandas 庫中的 DateFrame 函數,數據表一共有 6 行數據,每行有 6 個字段。在數據中我們特意設置了一些 NA 值和有問題的字段,例如包含空格等。後面將在數據清洗步驟進行處理。後面我們將統一以 DataFrame 的簡稱 df 來命名數據表。
1 df = pd.DataFrame({‘id’:[1001,1002,1003,1004,1005,1006],
2 ‘date’:pd.date_range(‘20130102’, periods=6),
3 ‘city’:[‘Beijing ‘, ‘SH’, ’ guangzhou ‘, ‘Shenzhen’, ‘shanghai’, ‘BEIJING ‘],
4 ‘age’:[23,44,54,32,34,32],
5 ‘category’:[‘100-A’,‘100-B’,‘110-A’,‘110-C’,‘210-A’,‘130-F’],
6 ‘price’:[1200,np.nan,2133,5433,np.nan,4432]},
7 columns =[‘id’,‘date’,‘city’,‘category’,‘age’,‘price’])
這是剛剛創建的數據表,我們沒有設置索引列,price 字段中包含有 NA 值,city 字段中還包含了一些臟數據。
數據表檢查
python 中處理的數據量通常會比較大,所以就需要我們對數據表進行檢查。比如我們之前的文章中介紹的紐約出租車數據和 Citibike 的騎行數據,數據量都在千萬級,我們無法一目了然的了解數據表的整體情況,必須要通過一些方法來獲得數據表的關鍵信息。數據表檢查的另一個目的是了解數據的概況,例如整個數據表的大小,所佔空間,數據格式,是否有空值和重複項和具體的數據內容。為後面的清洗和預處理做好準備。
數據維度(行列)
Excel 中可以通過 CTRL 向下的光標鍵,和 CTRL 向右的光標鍵來查看行號和列號。Python 中使用 shape 函數來查看數據表的維度,也就是行數和列數,函數返回的結果(6,6)表示數據表有 6 行,6 列。下面是具體的代碼。
1 #查看數據表的維度
2 df.shape
3 (6, 6)
數據表信息
使用 info 函數查看數據表的整體信息,這裡返回的信息比較多,包括數據維度,列名稱,數據格式和所佔空間等信息。
1 #數據表信息
2 df.info()
4 class ‘pandas.core.frame.DataFrame’
5 RangeIndex: 6 entries, 0 to 5
6 Data columns (total 6 columns):
7 id 6 non-null int64
8 date 6 non-null datetime64[ns]
9 city 6 non-null object
10 category 6 non-null object
11 age 6 non-null int64
12 price 4 non-null float64
13 dtypes: datetime64ns, float64(1), int64(2), object(2)
14 memory usage: 368.0 bytes
查看數據格式
Excel 中通過選中單元格並查看開始菜單中的數值類型來判斷數據的格式。Python 中使用 dtypes 函數來返回數據格式。
Dtypes 是一個查看數據格式的函數,可以一次性查看數據表中所有數據的格式,也可以指定一列來單獨查看。
1#查看數據表各列格式
2df.dtypes
3
4id int64
5date datetime64[ns]
6city object
7category object
8age int64
9price float64
10dtype: object
11
12#查看單列格式
13df[‘B’].dtype
14
15dtype(‘int64’)
查看空值
Excel 中查看空值的方法是使用“定位條件”功能對數據表中的空值進行定位。“定位條件”在“開始”目錄下的“查找和選擇”目錄中。
Isnull 是 Python 中檢驗空值的函數,返回的結果是邏輯值,包含空值返回 True,不包含則返回 False。可以對整個數據表進行檢查,也可以單獨對某一列進行空值檢查。
df_isnull
1#檢查特定列空值
2df[‘price’].isnull()
3
40 False
51 True
62 False
73 False
84 True
95 False
10Name: price, dtype: bool
查看唯一值
Excel 中查看唯一值的方法是使用“條件格式”對唯一值進行顏色標記。Python 中使用 unique 函數查看唯一值。
Unique 是查看唯一值的函數,只能對數據表中的特定列進行檢查。下面是代碼,返回的結果是該列中的唯一值。類似與 Excel 中刪除重複項後的結果。
1 #查看 city 列中的唯一值
2 df[‘city’].unique()34array([‘Beijing ‘, ‘SH’, ’ guangzhou ‘, ‘Shenzhen’, ‘shanghai’, ‘BEIJING ‘], dtype=object)
查看數據表數值
Python 中的 Values 函數用來查看數據表中的數值。以數組的形式返回,不包含表頭信息。
1#查看數據表的值
2df.values
3
4array([[1001, Timestamp(‘2013-01-02 00:00:00’), ‘Beijing ‘, ‘100-A’, 23,
5 1200.0],
6 [1002, Timestamp(‘2013-01-03 00:00:00’), ‘SH’, ‘100-B’, 44, nan],
7 [1003, Timestamp(‘2013-01-04 00:00:00’), ’ guangzhou ‘, ‘110-A’, 54,
8 2133.0],
9 [1004, Timestamp(‘2013-01-05 00:00:00’), ‘Shenzhen’, ‘110-C’, 32,
10 5433.0],
11 [1005, Timestamp(‘2013-01-06 00:00:00’), ‘shanghai’, ‘210-A’, 34,
12 nan],
13 [1006, Timestamp(‘2013-01-07 00:00:00’), ‘BEIJING ‘, ‘130-F’, 32,
14 4432.0]], dtype=object)
查看列名稱
Colums 函數用來單獨查看數據表中的列名稱。
1 #查看列名稱
2 df.columns
3
4 Index([‘id’, ‘date’, ‘city’, ‘category’, ‘age’, ‘price’], dtype=‘object’)
查看前 10 行數據
Head 函數用來查看數據表中的前 N 行數據,默認 head()顯示前 10 行數據,可以自己設置參數值來確定查看的行數。下面的代碼中設置查看前 3 行的數據。
1#查看前 3 行數據“df.head(“3“)
Tail 行數與 head 函數相反,用來查看數據表中後 N 行的數據,默認 tail()顯示後 10 行數據,可以自己設置參數值來確定查看的行數。下面的代碼中設置查看後 3 行的數據。
1#查看最後 3 行df.tail(3)
怎樣用python,讀取excel中的一列數據
—————————
@1方法一
import xlrd
data=xlrd.open_workbook(‘F:/data.xlsx’)#excle文件位置
sheet=data.sheets()[0] #讀取第一個表
rows=sheet.row_values(0) #讀取第一行
print(rows) #打印第一行
clou=sheet.col_values(0) #讀取第一列
print(clou) #打印第一列
print(rows,clou) #打印第一行第一列
x=clou[1:] #去除第一行的第一個數
print(x)
——————————————————–
@2
import xlrd #導入包
import pandas as pd
data=pd.read_excel(‘F:/data.xlsx’, sheet_name=’Sheet1′)
#print(type(data))
#print(data)
print(data[‘B’])#讀取某一列
print(data.values)#輸出值
print(data.describe())#輸出每列的統計數據
x=data[0:10]
print(x)#輸出前3行
print(x.T)#轉置
print(x.sort_index(axis=1,ascending=False))
a=data.describe()
原創文章,作者:N1APW,如若轉載,請註明出處:https://www.506064.com/zh-hant/n/130743.html