python中寫入數據庫,python中寫入數據庫語句

本文目錄一覽：

• 1、Python存200w數據到數據庫需要多久
• 2、python 把list元素插入數據庫
• 3、如何將python中的數據寫到mysql數據庫中
• 4、Python讀URL數據寫入MySQL數據庫

Python存200w數據到數據庫需要多久

Python存200w數據到數據庫需要474秒，因為正常的三萬八千條數據僅需要9秒，以此類推出200萬需要的時間。

【python存數據庫速度】

1、需要從文本中讀取三萬條數據寫入mysql數據庫，文件中為用@分割的sql語句，但是在讀取的過程中發現速度過慢，三萬八千條數據需要220秒，

2、經測試發現，影響速度的主要原因是commit(),因為沒過幾秒提交一次即可，但是因為提交的字符長度有限制，所以要設置一個合理的時間讀取。

3、更改後，寫入三萬八千條數據僅需要9秒

python 把list元素插入數據庫

兩種方法

1、python讀取文件後，解析value中的id，存儲到list中，再讀另一個文件時，去list里判斷是否已存在

2、python讀取另一個文件後，解析values中的id，腳本直接去數據庫判斷是否存在

其實數據庫可以設計id未主鍵，這樣你直接insert即可，出錯的話，數據庫會容錯

如何將python中的數據寫到mysql數據庫中

利用mysql插件 pymysql；寫insert語句直接插入到數據庫

安裝：pip install pymysql。

代碼：excute_sql方法是執行更新，插入操作。get_datasset方法是查詢。

# coding: utf-8

import pymysql.cursors

def execute_sql(sql):

    conn = pymysql.connect(host=’127.0.0.1′,port = 3306,user=’root’,passwd=’123456′,db =’db’,charset=”utf8″)

    try:

        with conn.cursor() as cursor:

            cursor.execute(sql)

            conn.commit()

    finally:

        conn.close()

def get_dataset(sql):

    conn = pymysql.connect(host=’127.0.0.1′,port = 3306,user=’root’,passwd=’123456′,db =’db’,charset=”utf8″)

    try:

        with conn.cursor() as cursor:

            cursor.execute(sql)

            return cursor.fetchall()

    finally:

        conn.close()

Python讀URL數據寫入MySQL數據庫

import mysql.connection

import requests

import time

conn = mysql.connector.connect(user=’root’, password=’password’, database=’test’)

cursor=conn.cursor()

cursor.execute(‘create table json(id varchar(20) primary key, text varchar(20))’)

conn.commit()

url=”

n=0

while Ture:

    n=n+1

    req=requests.get(url).json()

    cursor.execute(‘insert into user (id, text) values (%s, %s)’, [n, req])

    conn.commit()

    time.sleep(60)