linuxshcsv轉json的簡單介紹

本文目錄一覽：

• 1、如何將CSV格式轉換成JSON格式
• 2、linux 下如何使用shell 把處理好的csv文件導入到數據庫下
• 3、linux下怎麼用shell修改csv格式
• 4、mongo 導出.csv

如何將CSV格式轉換成JSON格式

# 下面的工具可以方便的將CSV格式文件轉換成json文件格式

import sys, json

tip = “””

請確保：

1. CSV格式是UTF-8

2. CSV第一行是鍵值

用法：

python csv2json.py foobar.csv

其中foobar.csv是需要轉換的源數據文件

運行環境：

Python 3.4.3

日期：

2015年12月29日

“””

print(tip)

# 獲取輸入數據

input_file = sys.argv[1]

lines = open(input_file, “r”, encoding=”utf_8_sig”).readlines()

lines = [line.strip() for line in lines]

# 獲取鍵值

keys = lines[0].split(‘,’)

line_num = 1

total_lines = len(lines)

parsed_datas = []

while line_num total_lines:

values = lines[line_num].split(“,”)

parsed_datas.append(dict(zip(keys, values)))

line_num = line_num + 1

json_str = json.dumps(parsed_datas, ensure_ascii=False, indent=4)

output_file = input_file.replace(“csv”, “json”)

# write to the file

f = open(output_file, “w”, encoding=”utf-8″)

f.write(json_str)

f.close()

print(“解析結束！”)

linux 下如何使用shell 把處理好的csv文件導入到數據庫下

linux 下，可以使用cli程序把csv文件導入到數據庫。具體代碼如下：

$ORACLE_HOME/bin/sqlplus -S username/password@instanceName  /dev/null 21  !!

#對sqlplus作一些設置，使之只輸出我們需要的文本

set echo off

set pagesize 0

set verify off

set feedback off

set termout off

set linesize 3000

set trimspool on

#查詢輸出到臨時文件

spool /tmp/some_tmp.csv 

#select語句

select column1||’,’||column2||’,’||column3 ….

from some_table where condition

spool off

#這裡可以添加多個查詢,且每個查詢可輸出到不同的文件,如下面注釋

#spool /tmp/some_tmp.csv 

#select column1||’,’||column2||’,’||column3 ….

#from some_table where condition

#spool off

set markup HTML off

quit

!!

#計算記錄總行數，如果是0則不發郵件

NUM=`cat /tmp/some_tmp.csv | wc -l`

if[ $NUM -gt 0 ]

then

#先寫excel的每列的title

echo ‘Title_Of_Column1, Title_Of_Column2, ….Title_Of_ColumnN’  /tmp/attachement.csv

#數據正文

cat /tmp/some_tmp.csv  /tmp/attachement.csv

#發郵件

(

echo “From: user@somehost.com”

echo “To: user1@somehost.com”

echo “MIME-Version: 1.0”

echo “Content-Type: multipart/mixed;”

echo ‘ boundary=”A_Boundary_Name_You_Can_Change_It”‘

echo “Subject: Subject”

echo “”

echo “”

#附件分隔符，上面的boundary前面加–

echo “–A_Boundary_Name_You_Can_Change_It”

echo ‘Content-Transfer-Encoding: x-uuencode’

echo ‘Content-Type: text/csv;’

echo ‘        name=”attachement.csv”‘

echo ‘Content-Disposition: attachment;’

echo ‘        filename=”attachement.csv”‘

echo “”

uuencode /tmp/attachement.csv attachement.csv

echo “–A_Boundary_Name_You_Can_Change_It”

#附件結束

) | mailx -t

fi

#刪除臨時文件

rm -f /tmp/*.csv

exit 0

linux下怎麼用shell修改csv格式

#cat test.csv |awk -F, ‘{print $1,$2,”hello world”,$3}’|sed ‘s/ /,/g’

1,男,hello,world,甲

2,女,hello,world,丁

3,男,hello,world,乙

mongo 導出.csv

1、先打開PowerShell

（win10可在搜索框直接搜索PowerShell，

其他系統

①打開開始菜單,可以直接按下windows鍵,或用鼠標點擊開始;

②點擊「所有程序」按鈕;

③ 在開始菜單中找到附件並打開;

④在附件中找到「windows powershell」文件夾並打開;

⑤找到windows powershell程序並點擊;

⑥windows powershell工具自動打開）

2、找到MongoDB的安裝路徑,進入 bin 目錄

cd 目錄名 就可以進入了，如果要進入多層目錄用/隔開 cd 目錄名/目錄名）

3、執行 .\mongoexport –db dbname -c dbcollection–out ./data.csv 命令

csv後綴也可以改成json

4、進入MongoDB下的bin目錄，即可找到剛生成的zdic.csv文件或生成的json文件