csv文件快速轉存到mysql（批量導入csv文件）

本文目錄一覽：

• 1、如何把取得的CSV數據，存入到MySQL數據庫中
• 2、如何把csv文件導入mysql
• 3、如何將一張500M的csv格式的表格快速導入到mysql中
• 4、如何把csv文件批量導入到mysql數據庫

如何把取得的CSV數據，存入到MySQL數據庫中

CSV

格式導入到MYSQL中。

執行語句:

load

data

infile

‘你的CSV文件路徑’

into

table

你的表

fields

terminated

by

‘,’

lines

terminated

by

‘\n’;

實例:

庫:pc2phone

表:cms_rate

文件路徑:C:/A-Z.csv

一:Xls轉化(另存)為

.csv格式(A-Z.csv)。存放到C盤根目錄下

二:MySQL

Command

Line

Client執行操作。

1:

mysql

use

pc2phone;

Database

Changed

2:

mysql

load

data

infile

‘C:/A-Z.csv’

into

table

cms_rate

fields

terminated

by

‘,’

lines

terminated

by

‘\n’;

如果編碼正確，導入成功!

如果出現下邊情況，則說明編碼格式錯誤。需要對C:/A-Z.csv文件的編碼進行轉換。

ERROR

1366

hy000:Incorrect

string

value:

‘\xB9\xFA\xBC\xCA\xB3\xA4…’

for

column

‘rate_type’

at

row

1

如何把csv文件導入mysql

mysql導入csv文件，用到的工具phpmyadmin，步驟如下：

登錄phpmyadmin（以本地localhost/phpmyadmin為示例），輸入數據庫賬號和密碼進行登錄。

2.登錄以後選擇具體的數據庫，以test為示例導入csv文件，選中test數據庫，選擇導入，然後選擇格式為csv，其它選項默認，選擇好文件點擊執行。

注意事項:mysql導出sql文件兼容性比較好。

如何將一張500M的csv格式的表格快速導入到mysql中

由於工作需要，經常需要將mysql數據庫中的數據導出到excel表格，或者需要將excel表格數據導入到mysql數據庫，我的方法是先將它們都轉換成一種中間數據格式csv（execl數據可以直接導出為csv格式，csv格式也可以直接用excel打開）。下面介紹一下操作步驟：

csv導入mysql

load

data

infile

‘c:\\users\\username\\desktop\\test.csv’

into

table

`table`

fields

terminated

by

‘,’

optionally

enclosed

by

‘”‘

escaped

by

‘”‘

lines

terminated

by

‘\n’;

mysql導入csv

select

*

from

`table`

load

data

infile

‘c:\\users\\username\\desktop\\test.csv’

fields

terminated

by

‘,’

optionally

enclosed

by

‘”‘

escaped

by

‘”‘

lines

terminated

by

‘\n’;

如果亂碼，可用相關編輯器打開.csv文件，另存為utf-8的csv

如何把csv文件批量導入到mysql數據庫

通過命令行導入（要求列與列之間以 英文逗號 分割，若字段中含有 , 則以 ” 包裹）

load data infile ‘D:/mysql-5.7.29-winx64/files/ratings_5.csv’ into table ratings fields terminated by ‘,’ optionally enclosed by ‘”‘ escaped by ‘”‘ lines terminated by ‘\r\n’;

踩坑一：文件路徑用 \ 分割會報錯，用 / 可（用 \\ 應該也可）

踩坑二：load data 命令報錯

ERROR 1290 (HY000): The MySQL server is running with the –secure-file-priv option so it cannot execute this statement

在 my.ini 中加入（空字符串代表允許從一切目錄導入）

[mysqld]

secure-file-priv=”

然後再 Windows 的服務中重新啟動 mysql

踩坑三：csv 文件中第一行是諸如 userId 這樣的列名

如果你的 csv 文件不大，直接使用 notepad++ 打開後刪除第一行即可

但在我們這裡，千萬級別的文件 notepad++ 無法打開，這時可以考慮兩種方法

1. 將 csv 文件傳入 Linux 服務器刪去第一行

由於不知道如何在 Win 10 中做這個操作，只能通過 Linux 中轉執行

sed -i ‘1d’ ratings.csv

檢驗是否成功，可以打印出第一行觀察

cat ratings.csv | head -n 1

2. 通過工具把大的 csv 分成多個 notepad 能夠打開的較小文件，對第一個文件刪除第一行並依次導入

工具：splitcsv

親測 5000000 條數據的 csv 文件可以在 notepad++ 中打開（只能同時打開 3 個）

這個工具還有個小坑：ratings_0.csv 的最後一行和 ratings_1.csv 的第一行是重複的，請手動刪除