快速學習python鏈接資料庫（Python 資料庫連接）

本文目錄一覽：

• 1、怎麼用python鏈接和操作mysql資料庫
• 2、零基礎小白如何在最短的時間快速入門python爬蟲
• 3、如何用python連接mysql資料庫
• 4、如何學習python
• 5、如何快速學習Python？

怎麼用python鏈接和操作mysql資料庫

你可以訪問Python資料庫介面及API查看詳細的支持資料庫列表。不同的資料庫你需要下載不同的DB API模塊，例如你需要訪問Oracle資料庫和Mysql數據，你需要下載Oracle和MySQL資料庫模塊。

DB-API 是一個規範. 它定義了一系列必須的對象和資料庫存取方式, 以便為各種各樣的底層資料庫系統和多種多樣的資料庫介面程序提供一致的訪問介面 。

Python的DB-API，為大多數的資料庫實現了介面，使用它連接各資料庫後，就可以用相同的方式操作各資料庫。

Python DB-API使用流程：

引入 API 模塊。

獲取與資料庫的連接。

執行SQL語句和存儲過程。

關閉資料庫連接。

什麼是MySQLdb?

MySQLdb 是用於Python鏈接Mysql資料庫的介面，它實現了 Python 資料庫 API 規範 V2.0，基於 MySQL C API 上建立的。

如何安裝MySQLdb?

為了用DB-API編寫MySQL腳本，必須確保已經安裝了MySQL。複製以下代碼，並執行：

#!/usr/bin/python

# -*- coding: UTF-8 -*-

import MySQLdb

如果執行後的輸出結果如下所示，意味著你沒有安裝 MySQLdb 模塊：

Traceback (most recent call last):

File “test.py”, line 3, in module

import MySQLdb

ImportError: No module named MySQLdb

安裝MySQLdb，請訪問 ，(Linux平台可以訪問：)從這裡可選擇適合您的平台的安裝包，分為預編譯的二進位文件和源代碼安裝包。

如果您選擇二進位文件發行版本的話，安裝過程基本安裝提示即可完成。如果從源代碼進行安裝的話，則需要切換到MySQLdb發行版本的頂級目錄，並鍵入下列命令:

$ gunzip MySQL-python-1.2.2.tar.gz

$ tar -xvf MySQL-python-1.2.2.tar

$ cd MySQL-python-1.2.2

$ python setup.py build

$ python setup.py install

注意：請確保您有root許可權來安裝上述模塊。

資料庫連接

連接資料庫前，請先確認以下事項：

您已經創建了資料庫 TESTDB.

在TESTDB資料庫中您已經創建了表 EMPLOYEE

EMPLOYEE表欄位為 FIRST_NAME, LAST_NAME, AGE, SEX 和 INCOME。

連接資料庫TESTDB使用的用戶名為 “testuser” ，密碼為 “test123”,你可以可以自己設定或者直接使用root用戶名及其密碼，Mysql資料庫用戶授權請使用Grant命令。

在你的機子上已經安裝了 Python MySQLdb 模塊。

如果您對sql語句不熟悉，可以訪問我們的 SQL基礎教程

實例：

以下實例鏈接Mysql的TESTDB資料庫：

#!/usr/bin/python

# -*- coding: UTF-8 -*-

import MySQLdb

# 打開資料庫連接

db = MySQLdb.connect(“localhost”,”testuser”,”test123″,”TESTDB” )

# 使用cursor()方法獲取操作游標

cursor = db.cursor()

# 使用execute方法執行SQL語句

cursor.execute(“SELECT VERSION()”)

# 使用 fetchone() 方法獲取一條資料庫。

data = cursor.fetchone()

print “Database version : %s ” % data

# 關閉資料庫連接

db.close()

執行以上腳本輸出結果如下：

Database version : 5.0.45

創建資料庫表

如果資料庫連接存在我們可以使用execute()方法來為資料庫創建表，如下所示創建表EMPLOYEE：

#!/usr/bin/python

# -*- coding: UTF-8 -*-

import MySQLdb

# 打開資料庫連接

db = MySQLdb.connect(“localhost”,”testuser”,”test123″,”TESTDB” )

# 使用cursor()方法獲取操作游標

cursor = db.cursor()

# 如果數據表已經存在使用 execute() 方法刪除表。

cursor.execute(“DROP TABLE IF EXISTS EMPLOYEE”)

# 創建數據表SQL語句

sql = “””CREATE TABLE EMPLOYEE (

FIRST_NAME CHAR(20) NOT NULL,

LAST_NAME CHAR(20),

AGE INT,

SEX CHAR(1),

INCOME FLOAT )”””

cursor.execute(sql)

# 關閉資料庫連接

db.close()

資料庫插入操作

以下實例使用執行 SQL INSERT 語句向表 EMPLOYEE 插入記錄：

#!/usr/bin/python

# -*- coding: UTF-8 -*-

import MySQLdb

# 打開資料庫連接

db = MySQLdb.connect(“localhost”,”testuser”,”test123″,”TESTDB” )

# 使用cursor()方法獲取操作游標

cursor = db.cursor()

# SQL 插入語句

sql = “””INSERT INTO EMPLOYEE(FIRST_NAME,

LAST_NAME, AGE, SEX, INCOME)

VALUES (‘Mac’, ‘Mohan’, 20, ‘M’, 2000)”””

try:

# 執行sql語句

cursor.execute(sql)

# 提交到資料庫執行

db.commit()

except:

# Rollback in case there is any error

db.rollback()

# 關閉資料庫連接

db.close()

以上例子也可以寫成如下形式：

#!/usr/bin/python

# -*- coding: UTF-8 -*-

import MySQLdb

# 打開資料庫連接

db = MySQLdb.connect(“localhost”,”testuser”,”test123″,”TESTDB” )

# 使用cursor()方法獲取操作游標

cursor = db.cursor()

# SQL 插入語句

sql = “INSERT INTO EMPLOYEE(FIRST_NAME, \

LAST_NAME, AGE, SEX, INCOME) \

VALUES (‘%s’, ‘%s’, ‘%d’, ‘%c’, ‘%d’ )” % \

(‘Mac’, ‘Mohan’, 20, ‘M’, 2000)

try:

# 執行sql語句

cursor.execute(sql)

# 提交到資料庫執行

db.commit()

except:

# 發生錯誤時回滾

db.rollback()

# 關閉資料庫連接

db.close()

實例：

以下代碼使用變數向SQL語句中傳遞參數:

…………………………….

user_id = “test123”

password = “password”

con.execute(‘insert into Login values(“%s”, “%s”)’ % \

(user_id, password))

…………………………….

資料庫查詢操作

Python查詢Mysql使用 fetchone() 方法獲取單條數據, 使用fetchall() 方法獲取多條數據。

fetchone(): 該方法獲取下一個查詢結果集。結果集是一個對象

fetchall():接收全部的返回結果行.

rowcount: 這是一個只讀屬性，並返回執行execute()方法後影響的行數。

實例：

查詢EMPLOYEE表中salary（工資）欄位大於1000的所有數據：

#!/usr/bin/python

# -*- coding: UTF-8 -*-

import MySQLdb

# 打開資料庫連接

db = MySQLdb.connect(“localhost”,”testuser”,”test123″,”TESTDB” )

# 使用cursor()方法獲取操作游標

cursor = db.cursor()

# SQL 查詢語句

sql = “SELECT * FROM EMPLOYEE \

WHERE INCOME ‘%d'” % (1000)

try:

# 執行SQL語句

cursor.execute(sql)

# 獲取所有記錄列表

results = cursor.fetchall()

for row in results:

fname = row[0]

lname = row[1]

age = row[2]

sex = row[3]

income = row[4]

# 列印結果

print “fname=%s,lname=%s,age=%d,sex=%s,income=%d” % \

(fname, lname, age, sex, income )

except:

print “Error: unable to fecth data”

# 關閉資料庫連接

db.close()

以上腳本執行結果如下：

fname=Mac, lname=Mohan, age=20, sex=M, income=2000

資料庫更新操作

更新操作用於更新數據表的的數據，以下實例將 TESTDB表中的 SEX 欄位全部修改為 ‘M’，AGE 欄位遞增1：

#!/usr/bin/python

# -*- coding: UTF-8 -*-

import MySQLdb

# 打開資料庫連接

db = MySQLdb.connect(“localhost”,”testuser”,”test123″,”TESTDB” )

# 使用cursor()方法獲取操作游標

cursor = db.cursor()

# SQL 更新語句

sql = “UPDATE EMPLOYEE SET AGE = AGE + 1

WHERE SEX = ‘%c'” % (‘M’)

try:

# 執行SQL語句

cursor.execute(sql)

# 提交到資料庫執行

db.commit()

except:

# 發生錯誤時回滾

db.rollback()

# 關閉資料庫連接

db.close()

刪除操作

刪除操作用於刪除數據表中的數據，以下實例演示了刪除數據表 EMPLOYEE 中 AGE 大於 20 的所有數據：

#!/usr/bin/python

# -*- coding: UTF-8 -*-

import MySQLdb

# 打開資料庫連接

db = MySQLdb.connect(“localhost”,”testuser”,”test123″,”TESTDB” )

# 使用cursor()方法獲取操作游標

cursor = db.cursor()

# SQL 刪除語句

sql = “DELETE FROM EMPLOYEE WHERE AGE ‘%d'” % (20)

try:

# 執行SQL語句

cursor.execute(sql)

# 提交修改

db.commit()

except:

# 發生錯誤時回滾

db.rollback()

# 關閉連接

db.close()

執行事務

事務機制可以確保數據一致性。

事務應該具有4個屬性：原子性、一致性、隔離性、持久性。這四個屬性通常稱為ACID特性。

原子性（atomicity）。一個事務是一個不可分割的工作單位，事務中包括的諸操作要麼都做，要麼都不做。

一致性（consistency）。事務必須是使資料庫從一個一致性狀態變到另一個一致性狀態。一致性與原子性是密切相關的。

隔離性（isolation）。一個事務的執行不能被其他事務干擾。即一個事務內部的操作及使用的數據對並發的其他事務是隔離的，並發執行的各個事務之間不能互相干擾。

持久性（durability）。持續性也稱永久性（permanence），指一個事務一旦提交，它對資料庫中數據的改變就應該是永久性的。接下來的其他操作或故障不應該對其有任何影響。

Python DB API 2.0 的事務提供了兩個方法 commit 或 rollback。

零基礎小白如何在最短的時間快速入門python爬蟲

Python爬蟲為什麼受歡迎？Python爬蟲應該怎麼學？

如果你仔細觀察，就不難發現，懂爬蟲、學習爬蟲的人越來越多，一方面，互聯網可以獲取的數據越來越多，另一方面，像 Python這樣的編程語言提供越來越多的優秀工具，讓爬蟲變得簡單、容易上手。

利用爬蟲我們可以獲取大量的價值數據，從而獲得感性認識中不能得到的信息，比如：

知乎：爬取優質答案，為你篩選出各話題下最優質的內容。

淘寶、京東：抓取商品、評論及銷量數據，對各種商品及用戶的消費場景進行分析。

安居客、鏈家：抓取房產買賣及租售信息，分析房價變化趨勢、做不同區域的房價分析。

拉勾網、智聯：爬取各類職位信息，分析各行業人才需求情況及薪資水平。

雪球網：抓取雪球高回報用戶的行為，對股票市場進行分析和預測。

爬蟲是入門Python最好的方式，沒有之一。Python有很多應用的方向，比如後台開發、web開發、科學計算等等，但爬蟲對於初學者而言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。

掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的使用，以及如何查找文檔你都非常熟悉了。

對於小白來說，爬蟲可能是一件非常複雜、技術門檻很高的事情。比如有人認為學爬蟲必須精通 Python，然後哼哧哼哧系統學習 Python 的每個知識點，很久之後發現仍然爬不了數據；有的人則認為先要掌握網頁的知識，遂開始 HTMLCSS，結果入了前端的坑，瘁……

但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從一開始就要有一個具體的目標。

在目標的驅動下，你的學習才會更加精準和高效。那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。這裡給你一條平滑的、零基礎快速入門的學習路徑。

1.學習 Python 包並實現基本的爬蟲過程

2.了解非結構化數據的存儲

3.學習scrapy，搭建工程化爬蟲

4.學習資料庫知識，應對大規模數據存儲與提取

5.掌握各種技巧，應對特殊網站的反爬措施

6.分散式爬蟲，實現大規模並發採集，提升效率

一

學習 Python 包並實現基本的爬蟲過程

大部分爬蟲都是按「發送請求——獲得頁面——解析頁面——抽取並儲存內容」這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程。

Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議從requests+Xpath 開始，requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。

如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多，一般的靜態網站根本不在話下，豆瓣、糗事百科、騰訊新聞等基本上都可以上手了。

當然如果你需要爬取非同步載入的網站，可以學習瀏覽器抓包分析真實請求或者學習Selenium來實現自動化，這樣，知乎、時光網、貓途鷹這些動態的網站也可以迎刃而解。

二

了解非結構化數據的存儲

爬回來的數據可以直接用文檔形式存在本地，也可以存入資料庫中。

開始數據量不大的時候，你可以直接通過 Python 的語法或 pandas 的方法將數據存為csv這樣的文件。

當然你可能發現爬回來的數據並不是乾淨的，可能會有缺失、錯誤等等，你還需要對數據進行清洗，可以學習 pandas 包的基本用法來做數據的預處理，得到更乾淨的數據。

三

學習 scrapy，搭建工程化的爬蟲

掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常複雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy 框架就非常有用了。

scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。

學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。

四

學習資料庫基礎，應對大規模數據存儲

爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種資料庫是必須的，學習目前比較主流的 MongoDB 就OK。

MongoDB 可以方便你去存儲一些非結構化的數據，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。

因為這裡要用到的資料庫知識其實非常簡單，主要是數據如何入庫、如何進行提取，在需要的時候再學習就行。

五

掌握各種技巧，應對特殊網站的反爬措施

當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態載入等等。

遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規的比如訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等。

往往網站在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了.

六

分散式爬蟲，實現大規模並發採集

爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分散式爬蟲。

分散式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具。

Scrapy 前面我們說過了，用於做基本的頁面爬取，MongoDB 用於存儲爬取的數據，Redis 則用來存儲要爬取的網頁隊列，也就是任務隊列。

所以有些東西看起來很嚇人，但其實分解開來，也不過如此。當你能夠寫分散式的爬蟲的時候，那麼你可以去嘗試打造一些基本的爬蟲架構了，實現一些更加自動化的數據獲取。

你看，這一條學習路徑下來，你已然可以成為老司機了，非常的順暢。所以在一開始的時候，盡量不要系統地去啃一些東西，找一個實際的項目（開始可以從豆瓣、小豬這種簡單的入手），直接開始就好。

因為爬蟲這種技術，既不需要你系統地精通一門語言，也不需要多麼高深的資料庫技術，高效的姿勢就是從實際的項目中去學習這些零散的知識點，你能保證每次學到的都是最需要的那部分。

當然唯一麻煩的是，在具體的問題中，如何找到具體需要的那部分學習資源、如何篩選和甄別，是很多初學者面臨的一個大問題。

希望我的回答對你有幫助，希望採納。

如何用python連接mysql資料庫

在 Python 語言環境下我們這樣連接資料庫。

In [1]: from mysql import connector

In [2]: cnx = connector.connect(host=”172.16.192.100″,port=3306,user=”appuser”,password=”xxxxxx”)

但是連接資料庫的背後發生了什麼呢？

答案

當我們通過驅動程序（mysql-connector-python,pymysql）連接 MySQL 服務端的時候，就是把連接參數傳遞給驅動程序，驅動程序再根據參數會發起到 MySQL 服務端的 TCP 連接。當 TCP 連接建立之後驅動程序與服務端之間會按特定的格式和次序交換數據包，數據包的格式和發送次序由 MySQL 協議 規定。MySQL 協議：整個連接的過程中 MySQL 服務端與驅動程序之間，按如下的次序發送了這些包。

MySQL 服務端向客戶端發送一個握手包，包里記錄了 MySQL-Server 的版本，默認的授權插件，密碼鹽值（auth-data）。

2. MySQL 客戶端發出 ssl 連接請求包（如果有必要的話）。

3. MySQL 客戶端發出握手包的響應包，這個包時記錄了用戶名，密碼加密後的串，客戶端屬性，等等其它信息。

4. MySQL 服務端發出響應包，這個包里記錄了登錄是否成功，如果沒有成功也會給出錯誤信息。

如何學習python

分享Python學習路線：

第一階段：Python基礎與Linux資料庫

這是Python的入門階段，也是幫助零基礎學員打好基礎的重要階段。你需要掌握Python基本語法規則及變數、邏輯控制、內置數據結構、文件操作、高級函數、模塊、常用標準庫模板、函數、異常處理、mysql使用、協程等知識點。

學習目標：掌握Python的基本語法，具備基礎的編程能力；掌握Linux基本操作命令，掌握MySQL進階內容，完成銀行自動提款機系統實戰、英漢詞典、歌詞解析器等項目。

第二階段：web全棧

這一部分主要學習web前端相關技術，你需要掌握html、cssJavaScript、JQuery、Bootstrap、web開發基礎、Vue、FIask Views、FIask模板、資料庫操作、FIask配置等知識。

學習目標：掌握web前端技術內容，掌握web後端框架，熟練使用FIask、Tornado、Django，可以完成數據監控後台的項目。

第三階段：數據分析+人工智慧

這部分主要是學習爬蟲相關的知識點，你需要掌握數據抓取、數據提取、數據存儲、爬蟲並發、動態網頁抓取、scrapy框架、分散式爬蟲、爬蟲攻防、數據結構、演算法等知識。

學習目標：可以掌握爬蟲、數據採集，數據機構與演算法進階和人工智慧技術。可以完成爬蟲攻防、圖片馬賽克、電影推薦系統、地震預測、人工智慧項目等階段項目。

第四階段：高級進階

這是Python高級知識點，你需要學習項目開發流程、部署、高並發、性能調優、Go語言基礎、區塊鏈入門等內容。

學習目標：可以掌握自動化運維與區塊鏈開發技術，可以完成自動化運維項目、區塊鏈等項目。

按照上面的Python學習路線圖學習完後，你基本上就可以成為一名合格的Python開發工程師。當然，想要快速成為企業競聘的精英人才，你需要有好的老師指導，還要有較多的項目積累實戰經驗。

對於Python開發有興趣的小夥伴們，不妨先從看看Python開發教程開始入門！B站上有很多的Python教學視頻，從基礎到高級的都有，還挺不錯的，知識點講的很細緻，還有完整版的學習路線圖。也可以自己去看看，下載學習試試。

如何快速學習Python？

Python是一門語法簡潔、功能強大、上手簡單的計算機編程語言，根據TIOBE最新排名，Python已超越C#，與Java，C，C++成為全球4大流行語言之一。

Python編程語言其應用廣泛，在人工智慧、雲計算開發、大數據開發、數據分析、科學運算、網站開發、爬蟲、自動化運維、自動化測試以及遊戲領域均有應用。

在各大企業，如國內的阿里、騰訊、網易、新浪、豆瓣，國外的谷歌、NASA、YouTube、Facebook，Python的企業對Python開發人才均有巨大的需求，隨著人工智慧、大數據的發展和廣泛的應用，Python人才的需求量也勢必增加，而且在未來的發展前景也是不可限量的!

相比於Java、php等語言，目前，Python編程人才缺口較大，市場供不應求，就業薪資也普遍較高，因此，現在學習Python是絕佳機會。那麼，如何快速學習Python?

1.要有決心

做任何事情，首先要有足夠的決心和堅持，才能做好事情、學好Python也是如此。

2.勤於動手

對於編程語言的學習，不能眼高手低，學的過程中，想到就要寫出來，一方面能夠培養出寫代碼的感覺，另一方面可以加深知識的掌控。

3.一套完整的學習體系

Python編程語言的全面學習，需要擁有一整套系統的學習資料和學習計劃，全面掌握Python基礎知識，對以後解決Python編程過程中的問題十分有益!

4.項目實戰訓練

Python編程基礎知識的學習最終目的是應用於項目中，因此，項目實戰訓練必不可少，多做幾個項目，盡量是功能完整的項目，形成項目思路，對以後進行項目實戰是很有好處的!