python的數據讀錄（python數據的讀取）

本文目錄一覽：

• 1、python讀取mysql數據寫入ES總結
• 2、python 讀取文本數據
• 3、python 怎麼從excel中讀取數據
• 4、python可以讀取數據庫里文檔嗎

python讀取mysql數據寫入ES總結

準備工作： mysql庫的安裝。

python中mysql庫用的是mysql-connector，安裝執行如下命令：

第一步： 連接mysql，讀取數據。

通過執行sql語句，讀取mysql數據。

至此，獲得mysql的原始數據raw_data 。接下來對數據進行預處理，按日期進行分組聚合，然後重命名行和列名，得到dataFrame格式的數據。

第二步： 連接ES。

這步沒有太多的可解釋的地方，就是配置信息。

第三步： ES主鍵加密。

這步的目的是為了保持主鍵唯一性，防止重複寫入。用的方法是md5加密。

第四步： 寫入ES

至此，一切的準備工作都做好了，數據也有了，主鍵加密也做了，就開始寫入了。

用main方法執行以上方法：

最後查看一下ES寫的是否成功，用查詢方法

如果返回以下信息，說明ES里成功插入了數據。

另外，ES刪除索引的操作：

python 讀取文本數據

兩種方法

1、python讀取文件後，解析value中的id，存儲到list中，再讀另一個文件時，去list里判斷是否已存在

2、python讀取另一個文件後，解析values中的id，腳本直接去數據庫判斷是否存在

其實數據庫可以設計id未主鍵，這樣你直接insert即可，出錯的話，數據庫會容錯

python 怎麼從excel中讀取數據

#導入包

import xlrd

#設置路徑

path=’C:\\Users\\jyjh\\Desktop\\datap.xlsx’

#打開文件

data=xlrd.open_workbook(path)

#查詢工作表

sheets=data.sheets()

sheets

可以通過函數、索引、名稱獲得工作表。

sheet_1_by_function=data.sheets()[0]

sheet_1_by_index=data.sheet_by_index(0)

sheet_1_by_name=data.sheet_by_name(u’Sheet1′)

可以通過方法獲得某一列或者某一行的數值。

sheet_1_by_name.row_values(1)

sheet_1_by_name.col_values(1)

通過工作表的屬性獲得行數和列數。

n_of_rows=sheet_1_by_name.nrows

n_of_cols=sheet_1_by_name.ncols

也可以用一個循環來遍歷一次文件。

for i in range(n_of_rows):

print sheet_1_by_name.row_values(i)

可以通過以下的任意一種方式訪問單元格的數值。

cell_A1=sheet_1_by_name.cell(0,0).value

cell_A1=sheet_1_by_name.row(0)[0].value

cell_A1=sheet_1_by_name.col(0)[0].value

最後通過以下的方法對單元格的數值進行修改。

row=0

col=0

#ctype 0:empty,1:string,2:number,3:date,4:boolean,5:error

cell_type=1

value=’Hello,Excel’

cell_A1=sheet_1_by_name.cell(0,0).value

format=0

sheet_1_by_name.put_cell(row,col,cell_type,value,format)

cell_A1=sheet_1_by_name.cell(0,0).value

Python[1]  （英國發音：/ˈpaɪθən/ 美國發音：/ˈpaɪθɑːn/）, 是一種面向對象的解釋型計算機程序設計語言，由荷蘭人Guido van Rossum於1989年發明，第一個公開發行版發行於1991年。

Python是純粹的自由軟件， 源代碼和解釋器CPython遵循 GPL(GNU General Public License)協議。Python語法簡潔清晰，特色之一是強制用空白符(white space)作為語句縮進。

Python具有豐富和強大的庫。它常被昵稱為膠水語言，能夠把用其他語言製作的各種模塊（尤其是C/C++）很輕鬆地聯結在一起。常見的一種應用情形是，使用Python快速生成程序的原型（有時甚至是程序的最終界面），然後對其中有特別要求的部分，用更合適的語言改寫，比如3D遊戲中的圖形渲染模塊，性能要求特別高，就可以用C/C++重寫，而後封裝為Python可以調用的擴展類庫。需要注意的是在您使用擴展類庫時可能需要考慮平台問題，某些可能不提供跨平台的實現。

7月20日，IEEE發佈2017年編程語言排行榜：Python高居首位。

python可以讀取數據庫里文檔嗎

python讀取文件內容的方法：

一.最方便的方法是一次性讀取文件中的所有內容並放置到一個大字符串中：

all_the_text = open(‘thefile.txt’).read( )

# 文本文件中的所有文本

all_the_data = open(‘abinfile’,’rb’).read( )

# 二進制文件中的所有數據

為了安全起見，最好還是給打開的文件對象指定一個名字，這樣在完成操作之後可以迅速關閉文件，防止一些無用的文件對象佔用內存。舉個例子，對文本文件讀取：

file_object = open(‘thefile.txt’)

try:

all_the_text = file_object.read( )

finally:

file_object.close( )

不一定要在這裡用Try/finally語句，但是用了效果更好，因為它可以保證文件對象被關閉，即使在讀取中發生了嚴重錯誤。

二.最簡單、最快，也最具Python風格的方法是逐行讀取文本文件內容，並將讀取的數據放置到一個字符串列表中：

list_of_all_the_lines = file_object.readlines( )

這樣讀出的每行文本末尾都帶有”\n”符號；如果你不想這樣，還有另一個替代的辦法，比如：

list_of_all_the_lines = file_object.read( ).splitlines( )

list_of_all_the_lines = file_object.read( ).split(‘\n’)

list_of_all_the_lines = [L.rstrip(‘\n’) for L in file_object]

最簡單最快的逐行處理文本文件的方法是，用一個簡單的for循環語句：

for line in file_object:

process line

這種方法同樣會在每行末尾留下”\n”符號；可以在for循環的主體部分加一句：

lineline = line.rstrip(‘\n’)

或者，你想去除每行的末尾的空白符（不只是’\n’\），常見的辦法是：

lineline = line.rstrip( )