d3從python函數獲取數據,python d3

本文目錄一覽：

• 1、求助用python從資料庫取數據動態生成表格的方法
• 2、python怎麼獲取需要登陸的介面的數據？
• 3、python中如何將表中的數據做成一張表,然後再從中取出數據？
• 4、python提取excel表中的數據兩列
• 5、從資料庫里python獲取數據存到本地資料庫
• 6、在python中,數據的輸出用哪個函數名

求助用python從資料庫取數據動態生成表格的方法

一、可使用的第三方庫

python中處理excel表格，常用的庫有xlrd（讀excel）表、xlwt（寫excel）表、openpyxl（可讀寫excel表）等。xlrd讀數據較大的excel表時效率高於openpyxl，所以我在寫腳本時就採用了xlrd和xlwt這兩個庫。介紹及下載地址為： 這些庫文件都沒有提供修改現有excel表格內容的功能。一般只能將原excel中的內容讀出、做完處理後，再寫入一個新的excel文件。

二、常見問題

使用python處理excel表格時，發現兩個個比較難纏的問題：unicode編碼和excel中記錄的時間。

因為python的默認字元編碼都為unicode，所以列印從excel中讀出的中文或讀取中文名的excel表或sheet時，程序提示錯誤UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 0-2: ordinal not in range(128)。這是由於在windows中，中文使用了gb2312編碼方式，python將其當作unicode和ascii來解碼都不正確才報出的錯誤。使用VAR.encode(‘gb2312’)即可解決列印中文的問題。（很奇怪，有的時候雖然能列印出結果，但顯示的不是中文，而是一堆編碼。）若要從中文文件名的excel表中讀取數據，可在文件名前加『u』表示將該中文文件名採用unicode編碼。

有excel中，時間和日期都使用浮點數表示。可看到，當『2013年3月20日』所在單元格使用『常規』格式表示後，內容變為『41353』；當其單元格格式改變為日期後，內容又變為了『2013年3月20日』。而使用xlrd讀出excel中的日期和時間後，得到是的一個浮點數。所以當向excel中寫入的日期和時間為一個浮點數也不要緊，只需將表格的表示方式改為日期和時間，即可得到正常的表示方式。excel中，用浮點數1表示1899年12月31日。

三、常用函數

以下主要介紹xlrd、xlwt、datetime中與日期相關的函數。

import xlrd

import xlwt

from datetime

def testXlrd(filename):

book=xlrd.open_workbook(filename)

sh=book.sheet_by_index(0)

print “Worksheet name(s): “,book.sheet_names()[0]

print ‘book.nsheets’,book.nsheets

print ‘sh.name:’,sh.name,’sh.nrows:’,sh.nrows,’sh.ncols:’,sh.ncols

print ‘A1:’,sh.cell_value(rowx=0,colx=1)

#如果A3的內容為中文

print ‘A2:’,sh.cell_value(0,2).encode(‘gb2312’)

def testXlwt(filename):

book=xlwt.Workbook()

sheet1=book.add_sheet(‘hello’)

book.add_sheet(‘word’)

sheet1.write(0,0,’hello’)

sheet1.write(0,1,’world’)

row1 = sheet1.row(1)

row1.write(0,’A2′)

row1.write(1,’B2′)

sheet1.col(0).width = 10000

sheet2 = book.get_sheet(1)

sheet2.row(0).write(0,’Sheet 2 A1′)

sheet2.row(0).write(1,’Sheet 2 B1′)

sheet2.flush_row_data()

sheet2.write(1,0,’Sheet 2 A3′)

sheet2.col(0).width = 5000

sheet2.col(0).hidden = True

book.save(filename)

if __name__==’__main__’:

testXlrd(u’你好。xls’)

testXlwt(‘helloWord.xls’)

base=datetime.date(1899,12,31).toordinal()

tmp=datetime.date(2013,07,16).toordinal()

print datetime.date.fromordinal(tmp+base-1).weekday()

python怎麼獲取需要登陸的介面的數據？

使用Python做爬蟲是很廣泛的應用場景，那就涉及到了Python是如何獲取介面數據的呢？Python擁有很多很強大的類庫，使用urllib即可輕鬆獲取介面返回的數據。

…展開

工具原料Python開發工具url介面，用於請求獲取數據

方法/步驟分步閱讀

1

/4

首先新建一個py文件，導入所需的類庫，urllib，json等。

2

/4

聲明api的url地址，和構造請求頭。

3

/4

使用urlopen方法發起請求並獲取返回的數據。

4

/4

最後就是對返回字元串的處理了。比如字元串的截取，字元串的轉換成json對象，轉換成欄位，再獲取對應key的值。

使用Python3實現HTTP get方法。使用聚合數據的應用編程介面，你可以調用小發貓AI寫作API。這是一個免費的應用程序介面，先上代碼，詳細說明寫在後面：

1

2

3

4

5

6

7

8

9

10

11

12

import requests

import time

import re

se = requests.session()

if __name__ == ‘__main__’:

Post_url = “;v=1key=xxxxxx” #自己想辦法弄到key

Post_data = {

‘wenzhang’: ‘床前明月光，疑是地上霜。’

}

Text = se.post(Post_url, data=Post_data).text.replace(“‘”, ‘”‘).replace(‘/ ‘, ‘/’)

print(Text)

首先，什麼是原料葯？應用編程介面的全稱也稱為應用編程介面。它簡稱為應用編程介面。當我第一次接觸介面調用時，我不知道寫什麼，因為我看了整個項目。這個項目是由龍捲風寫的。看了半天龍捲風後，我發現我走錯了方向。我只是直接看著界面，因為沒有人告訴我項目的整個過程。我不得不強迫自己去看它。我所要做的就是找到程序的主入口，然後根據函數一步一步地調用它。

當我編寫介面時，因為我必須配合後台編寫和瀏覽器訪問，每次訪問只需要傳入相應的參數來調用相應的介面。界面可以由他人編寫，也可以由合作公司提供。當然，合作公司提供的不是免費的。現在基本上，如果我不訪問它一次，它只收費幾美分。當你聽到這些，不要低估這幾分。有時候如果你打了幾百萬次電話，會花很多錢。有些人認為，我們不能按月付款嗎？對不起，我不知道。總之，我們一個接一個地計算，因為第一次，我認為我買的那些直接買了我們想要的所有數據，把它們保存在本地資料庫中，當我使用它們時，直接從我自己的資料庫中轉移它們。後來，我發現我想得太多了，偽原創API。

該介面調用由python的請求庫訪問，它基本上是一個get或post請求。有些介面是加密的，然後我們必須用另一方提供給我們的公鑰加密或解密，然後用相應的參數訪問。我們想要的數據基本上是在請求後返回的結果中以json格式解析的。因此，在請求之後，我們可以用請求提供的json函數來解析它，然後提取數據以一次訪問一個數據。

沒錯，介面調用就是這麼簡單，但是有了後台編寫，我才發現請求庫現在有多強大，只要它是http或https，我很高興我在一周內讀完了請求和bs4，我真的不打電話給爬蟲工程師，如果我是爬蟲的時候不學習請求，你能用scrapy寫4=dead來寫它嗎？Urllib的單詞基本上被刪除了。如果你有要求，為什麼要用這個？

python中如何將表中的數據做成一張表,然後再從中取出數據？

第一部分是生成數據表，常見的生成方法有兩種，第一種是導入外部數據，第二種是直接寫入數據。 Excel 中的文件菜單中提供了獲取外部數據的功能，支持資料庫和文本文件和頁面的多種數據源導入。

獲取外部數據

python 支持從多種類型的數據導入。在開始使用 python 進行數據導入前需要先導入 pandas 庫，為了方便起見，我們也同時導入 numpy 庫。

1 import numpy as np

2 import pandas as pd

導入數據表

下面分別是從 excel 和 csv 格式文件導入數據並創建數據表的方法。代碼是最簡模式，裡面有很多可選參數設置，例如列名稱，索引列，數據格式等等。感興趣的朋友可以參考 pandas 的

官方文檔。

1 df=pd.DataFrame(pd.read_csv(『name.csv』,header=1))

2 df=pd.DataFrame(pd.read_excel(『name.xlsx』))

創建數據表

另一種方法是通過直接寫入數據來生成數據表，excel 中直接在單元格中輸入數據就可以，python 中通過下面的代碼來實現。生成數據表的函數是 pandas 庫中的 DateFrame 函數，數據表一共有 6 行數據，每行有 6 個欄位。在數據中我們特意設置了一些 NA 值和有問題的欄位，例如包含空格等。後面將在數據清洗步驟進行處理。後面我們將統一以 DataFrame 的簡稱 df 來命名數據表。

1 df = pd.DataFrame({『id』:[1001,1002,1003,1004,1005,1006],

2 『date』:pd.date_range(『20130102』, periods=6),

3 『city』:[‘Beijing ‘, 『SH』, 』 guangzhou ‘, 『Shenzhen』, 『shanghai』, ‘BEIJING ‘],

4 『age』:[23,44,54,32,34,32],

5 『category』:[『100-A』,『100-B』,『110-A』,『110-C』,『210-A』,『130-F』],

6 『price』:[1200,np.nan,2133,5433,np.nan,4432]},

7 columns =[『id』,『date』,『city』,『category』,『age』,『price』])

這是剛剛創建的數據表，我們沒有設置索引列，price 欄位中包含有 NA 值，city 欄位中還包含了一些臟數據。

數據表檢查

python 中處理的數據量通常會比較大，所以就需要我們對數據表進行檢查。比如我們之前的文章中介紹的紐約計程車數據和 Citibike 的騎行數據，數據量都在千萬級，我們無法一目了然的了解數據表的整體情況，必須要通過一些方法來獲得數據表的關鍵信息。數據表檢查的另一個目的是了解數據的概況，例如整個數據表的大小，所佔空間，數據格式，是否有空值和重複項和具體的數據內容。為後面的清洗和預處理做好準備。

數據維度(行列)

Excel 中可以通過 CTRL 向下的游標鍵，和 CTRL 向右的游標鍵來查看行號和列號。Python 中使用 shape 函數來查看數據表的維度，也就是行數和列數，函數返回的結果(6,6)表示數據表有 6 行，6 列。下面是具體的代碼。

1 #查看數據表的維度

2 df.shape

3 (6, 6)

數據表信息

使用 info 函數查看數據表的整體信息，這裡返回的信息比較多，包括數據維度，列名稱，數據格式和所佔空間等信息。

1 #數據表信息

2 df.info()

4 class 『pandas.core.frame.DataFrame』

5 RangeIndex: 6 entries, 0 to 5

6 Data columns (total 6 columns):

7 id 6 non-null int64

8 date 6 non-null datetime64[ns]

9 city 6 non-null object

10 category 6 non-null object

11 age 6 non-null int64

12 price 4 non-null float64

13 dtypes: datetime64ns, float64(1), int64(2), object(2)

14 memory usage: 368.0 bytes

查看數據格式

Excel 中通過選中單元格並查看開始菜單中的數值類型來判斷數據的格式。Python 中使用 dtypes 函數來返回數據格式。

Dtypes 是一個查看數據格式的函數，可以一次性查看數據表中所有數據的格式，也可以指定一列來單獨查看。

1#查看數據表各列格式

2df.dtypes

3

4id int64

5date datetime64[ns]

6city object

7category object

8age int64

9price float64

10dtype: object

11

12#查看單列格式

13df[『B』].dtype

14

15dtype(『int64』)

查看空值

Excel 中查看空值的方法是使用「定位條件」功能對數據表中的空值進行定位。「定位條件」在「開始」目錄下的「查找和選擇」目錄中。

Isnull 是 Python 中檢驗空值的函數，返回的結果是邏輯值，包含空值返回 True，不包含則返回 False。可以對整個數據表進行檢查，也可以單獨對某一列進行空值檢查。

df_isnull

1#檢查特定列空值

2df[『price』].isnull()

3

40 False

51 True

62 False

73 False

84 True

95 False

10Name: price, dtype: bool

查看唯一值

Excel 中查看唯一值的方法是使用「條件格式」對唯一值進行顏色標記。Python 中使用 unique 函數查看唯一值。

Unique 是查看唯一值的函數，只能對數據表中的特定列進行檢查。下面是代碼，返回的結果是該列中的唯一值。類似與 Excel 中刪除重複項後的結果。

1 #查看 city 列中的唯一值

2 df[『city』].unique()34array([‘Beijing ‘, 『SH』, 』 guangzhou ‘, 『Shenzhen』, 『shanghai』, ‘BEIJING ‘], dtype=object)

查看數據表數值

Python 中的 Values 函數用來查看數據表中的數值。以數組的形式返回，不包含表頭信息。

1#查看數據表的值

2df.values

3

4array([[1001, Timestamp(『2013-01-02 00:00:00』), ‘Beijing ‘, 『100-A』, 23,

5 1200.0],

6 [1002, Timestamp(『2013-01-03 00:00:00』), 『SH』, 『100-B』, 44, nan],

7 [1003, Timestamp(『2013-01-04 00:00:00』), 』 guangzhou ‘, 『110-A』, 54,

8 2133.0],

9 [1004, Timestamp(『2013-01-05 00:00:00』), 『Shenzhen』, 『110-C』, 32,

10 5433.0],

11 [1005, Timestamp(『2013-01-06 00:00:00』), 『shanghai』, 『210-A』, 34,

12 nan],

13 [1006, Timestamp(『2013-01-07 00:00:00』), ‘BEIJING ‘, 『130-F』, 32,

14 4432.0]], dtype=object)

查看列名稱

Colums 函數用來單獨查看數據表中的列名稱。

1 #查看列名稱

2 df.columns

3

4 Index([『id』, 『date』, 『city』, 『category』, 『age』, 『price』], dtype=『object』)

查看前 10 行數據

Head 函數用來查看數據表中的前 N 行數據，默認 head()顯示前 10 行數據，可以自己設置參數值來確定查看的行數。下面的代碼中設置查看前 3 行的數據。

1#查看前 3 行數據“df.head(“3“)

Tail 行數與 head 函數相反，用來查看數據表中後 N 行的數據，默認 tail()顯示後 10 行數據，可以自己設置參數值來確定查看的行數。下面的代碼中設置查看後 3 行的數據。

1#查看最後 3 行df.tail(3)

python提取excel表中的數據兩列

1、首先打開excel表格，在單元格中輸入兩列數據，需要將這兩列數據進行比對相同數據。

2、然後在C1單元格中輸入公式：=VLOOKUP(B1,A:A,1,0)，意思是比對B1單元格中A列中是否有相同數據。

3、點擊回車，即可將公式的計算結果顯示出來，可以看到C1中顯示的是B1在A列中找到的相同數據。

4、將公式向下填充，即可發現C列中顯示出的數字即為有相同數據的，顯示「#N/A」的為沒有找到匹配數據的。

5、將C1-C4中的數據進行複製並粘貼成數值，即可完成相同數據的提取操作。

在實際研究中，我們經常需要獲取大量數據，而這些數據很大一部分以pdf表格的形式呈現，如公司年報、發行上市公告等。面對如此多的數據表格，採用手工複製黏貼的方式顯然並不可取。那麼如何才能高效提取出pdf文件中的表格數據呢？

Python提供了許多可用於pdf表格識別的庫，如camelot、tabula、pdfplumber等。綜合來看，pdfplumber庫的性能較佳，能提取出完整、且相對規範的表格。因此，本推文也主要介紹pdfplumber庫在pdf表格提取中的作用。

作為一個強大的pdf文件解析工具，pdfplumber庫可迅速將pdf文檔轉換為易於處理的txt文檔，並輸出pdf文檔的字元、頁面、頁碼等信息，還可進行頁面可視化操作。使用pdfplumber庫前需先安裝，即在cmd命令行中輸入：

pip install pdfplumber

pdfplumber庫提供了兩種pdf表格提取函數，分別為.extract_tables( )及.extract_table( )，兩種函數提取結果存在差異。為進行演示，我們網站上下載了一份短期融資券主體信用評級報告，為pdf格式。任意選取某一表格，其界面如下：

接下來，我們簡要分析兩種提取模式下的結果差異。

（1）.extract_tables( )

可輸出頁面中所有表格，並返回一個嵌套列表，其結構層次為table→row→cell。此時，頁面上的整個表格被放入一個大列表中，原表格中的各行組成該大列表中的各個子列表。若需輸出單個外層列表元素，得到的便是由原表格同一行元素構成的列表。例如，我們執行如下程序：

輸出結果：

（2）.extract_table( )

返回多個獨立列表，其結構層次為row→cell。若頁面中存在多個行數相同的表格，則默認輸出頂部表格；否則，僅輸出行數最多的一個表格。此時，表格的每一行都作為一個單獨的列表，列表中每個元素即為原表格的各個單元格內容。若需輸出某個元素，得到的便是具體的數值或字元串。如下：

輸出結果：

在此基礎上，我們詳細介紹如何從pdf文件中提取表格數據。其中一種思路便是將提取出的列表視為一個字元串，結合Python的正則表達式re模塊進行字元串處理後，將其保存為以標準英文逗號分隔、可被Excel識別的csv格式文件，即進行如下操作：

輸出結果：

儘管能獲得完整的表格數據，但這種方法相對不易理解，且在處理結構不規則的表格時容易出錯。由於通過pdfplumber庫提取出的表格數據為整齊的列表結構，且含有數字、字元串等數據類型。因此，我們可調用pandas庫下的DataFrame( )函數，將列錶轉換為可直接輸出至Excel的DataFrame數據結構。DataFrame的基本構造函數如下：

DataFrame([data,index, columns])

三個參數data、index和columns分別代表創建對象、行索引和列索引。DataFrame類型可由二維ndarray對象、列表、字典、元組等創建。本推文中的data即指整個pdf表格，提取程序如下：

其中，table[1:]表示選定整個表格進行DataFrame對象創建，columns=table[0]表示將表格第一行元素作為列變數名，且不創建行索引。輸出Excel表格如下：

通過以上簡單程序，我們便提取出了完整的pdf表格。但需注意的是，面對不規則的表格數據提取，創建DataFrame對象的方法依然可能出錯，在實際操作中還需進行核對。

關於我們

微信公眾號「爬蟲俱樂部」分享實用的stata命令，歡迎轉載、打賞。爬蟲俱樂部是由李春濤教授領導下的研究生及本科生組成的大數據分析和數據挖掘團隊。

投稿要求：

1）必須原創，禁止抄襲；

2）必須準確，詳細，有例子，有截圖；

從資料庫里python獲取數據存到本地資料庫

python項目中從介面獲取數據並存入本地資料庫

首先用postman測試介面

根據請求方式將數據存入資料庫中

首先用postman測試介面

通過url，選擇相應的請求方式，頭部，數據格式，點擊send看能否獲取數據

根據請求方式將數據存入資料庫中

下面是post請求方式def get() URL = ” HEADERS = {‘Content-Type’: ‘application/json’} JSON = {} response = request.post(URL,headers=HEADERS,json=JSON) #json.loads()用於將str類型的數據轉成dict jsondata = json.load(response.txt) for i in jsondata: date1 = i[data] type1 = i[type] … #拼接sql語句 sql=”” conn=MySQLdb.connect(host=”localhost”,user=”root”,passwd=”sa”,db=”mytable”)　 cursor=conn.cursor()　 ursor.execute(sql)

在python中,數據的輸出用哪個函數名

Python3中使用：print()函數

用法（從IDLE幫助上複製）：

print(…)

print(value, …, sep=’ ‘, end=’\n’, file=sys.stdout, flush=False)

Prints the values to a stream, or to sys.stdout by default.

Optional keyword arguments:

file: a file-like object (stream); defaults to the current sys.stdout.

sep: string inserted between values, default a space.

end: string appended after the last value, default a newline.

flush: whether to forcibly flush the stream.

value即你要輸出的值（大多數類型均可），sep是這多個值用什麼分割（默認為空格），end是這個輸出的末尾是什麼（默認是換行）。