python怎麼讀sql數據的簡單介紹

本文目錄一覽：

• 1、python讀取mysql數據寫入ES總結
• 2、如何python獲取sql數據庫訪問的url
• 3、python 2.7 讀取sql文件
• 4、python如何操作SQL語句

python讀取mysql數據寫入ES總結

準備工作： mysql庫的安裝。

python中mysql庫用的是mysql-connector，安裝執行如下命令：

第一步： 連接mysql，讀取數據。

通過執行sql語句，讀取mysql數據。

至此，獲得mysql的原始數據raw_data 。接下來對數據進行預處理，按日期進行分組聚合，然後重命名行和列名，得到dataFrame格式的數據。

第二步： 連接ES。

這步沒有太多的可解釋的地方，就是配置信息。

第三步： ES主鍵加密。

這步的目的是為了保持主鍵唯一性，防止重複寫入。用的方法是md5加密。

第四步： 寫入ES

至此，一切的準備工作都做好了，數據也有了，主鍵加密也做了，就開始寫入了。

用main方法執行以上方法：

最後查看一下ES寫的是否成功，用查詢方法

如果返回以下信息，說明ES里成功插入了數據。

另外，ES刪除索引的操作：

如何python獲取sql數據庫訪問的url

python

操作數據庫，要安裝一個Python和數據庫交互的包MySQL-python-1.2.2.win32-py2.5.exe，然後我們就可以使用MySQLdb這個包進行數據庫操作了。

操作步驟如下：

1、建立數據庫連接

import

MySQLdb

conn=MySQLdb.connect(host=”localhost”,user=”root”,passwd=”sa”,db=”mytable”)

　 cursor=conn.cursor()

2、執行數據庫操作

n=cursor.execute(sql,param)

我們要使用連接對象獲得一個cursor對象,接下來,我們會使用cursor提供的方法來進行工作.

這些方法包括兩大類:1.執行命令,2.接收返回值

3、cursor用來執行命令的方法:

　 callproc(self, procname,

args):用來執行存儲過程,接收的參數為存儲過程名和參數列表,返回值為受影響的行數

　 execute(self, query,

args):執行單條sql語句,接收的參數為sql語句本身和使用的參數列表,返回值為受影響的行數

　 executemany(self, query,

args):執行單挑sql語句,但是重複執行參數列表裡的參數,返回值為受影響的行數

nextset(self):移動到下一個結果集

　 4、cursor用來接收返回值的方法:

fetchall(self):接收全部的返回結果行.

　 fetchmany(self,

size=None):接收size條返回結果行.如果size的值大於返回的結果行的數量,則會返回cursor.arraysize條數據.

fetchone(self):返回一條結果行.

　 scroll(self, value,

mode=’relative’):移動指針到某一行.如果mode=’relative’,則表示從當前所在行移動value條,如果mode=’absolute’,則表示從結果集的第一

行移動value條.

5、下面的代碼是一個完整的例子.

#使用sql語句,這裡要接收的參數都用%s佔位符.要注意的是,無論你要插入的數據是什麼類型,佔位符永遠都要用%s

sql=”insert

into cdinfo values(%s,%s,%s,%s,%s)”

#param應該為tuple或者list

param=(title,singer,imgurl,url,alpha)

#執行,如果成功,n的值為1

n=cursor.execute(sql,param)

#再來執行一個查詢的操作

cursor.execute(“select

* from cdinfo”)

#我們使用了fetchall這個方法.這樣,cds里保存的將會是查詢返回的全部結果.每條結果都是一個tuple類型的數據,這些tuple組成了一個tuple

cds=cursor.fetchall()

#因為是tuple,所以可以這樣使用結果集

print

cds[0][3]

#或者直接顯示出來,看看結果集的真實樣子

print

cds

#如果需要批量的插入數據,就這樣做

sql=”insert

into cdinfo values(0,%s,%s,%s,%s,%s)”

#每個值的集合為一個tuple,整個參數集組成一個tuple,或者list

param=((title,singer,imgurl,url,alpha),(title2,singer2,imgurl2,url2,alpha2))

#使用executemany方法來批量的插入數據.這真是一個很酷的方法!

n=cursor.executemany(sql,param)

需要注意的是(或者說是我感到奇怪的是),在執行完插入或刪除或修改操作後,需要調用一下conn.commit()方法進行提交.這樣,數據才會真正保

存在數據庫中.我不清楚是否是我的mysql設置問題,總之,今天我在一開始使用的時候,如果不用commit,那數據就不會保留在數據庫中,但是,數據

確實在數據庫呆過.因為自動編號進行了累積,而且返回的受影響的行數並不為0.

6、關閉數據庫連接

需要分別的關閉指針對象和連接對象.他們有名字相同的方法

cursor.close()

conn.close()

Django操作數據庫

django是一個出色的用於python的web框架。django連接有操作數據庫的api，使用起來十分簡潔。我們在settings.py中配置好所要連接的數據庫，然後在modules、view、urls中分別寫好業務邏輯

python 2.7 讀取sql文件

逐行執行

for line in sql：

try:

cursor.execute(line)

except:

……

python如何操作SQL語句

這裡有個比較清楚的解答：

但是你的是一個文本的話，就要稍微改一下咯

如果改成cx_Oracle的話，就是這樣的：

import

sys

import

cx_Oracle

import

os

class

handleDataBase:

def

__init__(self,user,passwd,server,sql):

self.user=user

self.passwd=passwd

self.server=server

self.sql=sql

self.conn

=

cx_Oracle.connect(“%s/%s@%s”%(self.user,self.passwd,self.server))

def

selectDB(self):

cursor

=

self.conn.cursor()

cursor.execute(“select

count(1)

from

search_item_08″)

ret

=

cursor.fetchall()

cursor.close()

print

ret

return

ret

def

closeDB(self):

self.conn.close()

if

__name__

==

“__main__”:

if

len(sys.argv)

4:

print

“Need

Arguments:

user

passwd

server”

sys.exit(1)

user=sys.argv[1]

passwd=sys.argv[2]

server=sys.argv[3]

#sql=’select

count(1)

from

search_item_08;’

#注意這裡要改

sql

=

open(‘a.sql’,’r’).read()

#改成從文件讀取

#接下來就訪問數據庫了

handleDB

=

handleDataBase(user,passwd,server,sql)

handleDB.selectDB()

handleDB.closeDB()