python用圖片製作數據集（python將圖片存入資料庫）

• 1、mxnet數據集的製作和訓練
• 2、製作cifar10數據集的python版代碼
• 3、如何用python imageio製作圖像數據集
• 4、Python 製作Pascal VOC數據集

安裝mxnet

Cpu版：pip install mxnet

Gpu版：pip install mxnet-cu80

若cuda版本為cuda-9.0,改為pip install mxnet-90

pip或apt安裝sklearn，easydict

製作數據集

將圖片分類並放入不同文件夾

運行python im2rec.py train –list ./可生成.list文件，包含圖片列表

運行python im2rec.py train ./ train.rec和train.idx訓練文件

–train-ratio 0.9生成驗證數據集.bin文件參數為訓練數據集和驗證數據集之比

–resize 128 128指定生成數據集的圖片大小

參考

將生成的.rec,.idx,.bin（非必須）文件放入datasets/faces_emore中

新建property文本，寫入圖片數量，圖片長寬 example : 86545 128 128

例：

python -u  train.py –network m1 –loss softmax –dataset emore,1

使用softma、nosoftmax、arcface或cosface訓練完成後，使用生成模型運行三元組損失訓練

例：

Python -u train.py –network m1 -loss triplet –lr 0.005 –pretrained ./models/m1-softmax-emore

參數說明

–dataset訓練集位置，具體位置查看config.py 108至120行

–network網路模型 候選參數 ： r100 r100fc r50 r50v1（基於resnet） d169 d201（基於densenet） y1 y2（基於mobilefacenet） m1 m0.5（基於mobilenet） mnas mnas05 mnas025（基於mnasnet）

–loss損失函數 候選參數 ：softmax（標準損失函數） nsoftmax （組合損失函數）arcface cosface combined triplet（三元組損失） atriplet

–ckpt模型存儲時間。0： 放棄存儲 1：必要時存儲（驗證集準確率達標時，若無驗證集則不存儲 3：總是存儲）

–lr學習率

–lr-steps學習率改變方法 例：』10000,20000,2200000』即達到圖片數量時學習率*0.1

–per-batch-size每次的訓練的數量 數量越少，佔用顯卡內存越少

參考

MNIST 數據集

混合的國家標準和技術 (簡稱 MNIST) 由紅外研究員，作為基準來比較不同的紅外演算法創建數據集。 其基本思想是如果你有你想要測試紅外的演算法或軟體的系統，可以運行您的演算法或系統針對 MNIST 的數據集和比較您的結果與其他系統以前發布成果。

數據集包含的共 70,000 圖像 ； 60,000 訓練圖像 （用於創建紅外模型） 和 10,000 測試圖像 （用於評估模型的精度）。 每個 MNIST 圖像是一個單一的手寫的數字字元的數字化的圖片。 每個圖像是 28 x 28 像素大小。 每個像素值是 0，表示白色，至 255，表示黑。 中間像素值表示的灰度級。 圖 2 顯示了訓練集的前八位的圖像。 對應於每個圖像的實際數字是顯然對人，但確定數字是非常困難的挑戰的計算機。

圖 2 首八 MNIST 訓練圖像

奇怪的是，訓練數據和測試數據均存儲在兩個文件中，而不是在單個文件中。 其中一個文件包含圖像的像素值和，另一個包含圖像的標籤信息 （0 到 9）。 每個的四個文件還包含標頭信息，和所有的四個文件都存儲在已經使用 gzip 格式壓縮的二進位格式。

注意在圖 1，該演示程序使用僅 60,000 項目訓練集。 測試集的格式是相同的訓練集。 MNIST 文件的主存儲庫是目前位於 yann.lecun.com/exdb/mnist。 培訓的像素數據存儲在文件火車-圖像-idx3-ubyte.gz 和培訓標籤數據存儲在文件火車-標籤-idx1-ubyte.gz。 若要運行該演示程序，您需要轉到 MNIST 的存儲庫站點，下載並解壓的兩個培訓數據文件。 將文件解壓縮，我用的免費的開源 7-Zip 實用程序。

創建 MNIST 查看器

若要創建 MNIST 演示程序，我發起了 Visual Studio，創建一個名為 MnistViewer 的新 C# Windows 窗體項目。 演示有沒有重大的.NET 版本依賴關係，因此，任何版本的 Visual Studio 應該工作。

模板代碼載入到 Visual Studio 編輯器後，我設置的 UI 控制項。 我添加了兩個 TextBox 控制項 (textBox1，textBox2) 要堅持兩個解壓後的培訓文件的路徑。 我添加一個按鈕控制項 (button1)，並給了它一個標籤載入圖像。 我添加了兩個多個 TextBox 控制項 （textBox3，textBox4） 以保存當前圖像索引和下一個圖像索引的值。 我使用 Visual Studio 設計器，分別設置”NA”和”0，”這些控制項的初始值。

我添加了一個 ComboBox 控制項 (comboBox1) 的圖像放大倍數值。 使用設計器，我去到該控制項的項集合，添加字元串”1″到”10″。我添加了第二個按鈕控制項 (button2)，並給了它一個標籤的顯示下一次。 我添加了 PictureBox 控制項 (pictureBox1)，將其背景色屬性設置為 ControlDark，以便看到控制項的輪廓。 我將圖片框大小設置為 280 x 280 允許最多 10 倍的放大倍率 （回顧 MNIST 圖像是 28 x 28 像素為單位）。 我添加了第五個 （textBox5） 文本框以顯示十六進位值的圖像，然後將其多行屬性設置為 True 和其字體屬性設置為 8.25 磅 Courier New 和擴大其大小到 606 x 412。 而且，最後，我添加了一個列表框控制項 （listBox1) 的日誌記錄消息。

聲明在此使用的彩色圖轉灰度圖進行的單通道的圖像存儲，對於多通道的圖像隨後進行總結

主要流程是將圖像數據讀出

將圖像轉換成numpy的數組形式

將圖像進行行的處理編程行向量的存儲

之後是將數據與標籤進行合併存儲

存儲在一個list中

將這個數據集進行數據的打亂順序，（隨機化的過程）

主要的過程就是這些了

下面是代碼的

===========================

# -*-coding:utf-8-*-

import numpy

import theano

from PIL import Image

from pylab import *

import os

import theano.tensor as T

import random

import pickle

def dataresize(path=r’D:\worksapce_python\20160426_cp\testing’):

# test path

path_t =r”D:\worksapce_python\20160426_cp\training”

# train path

datas = []

train_x= []

train_y= []

valid_x= []

valid_y= []

test_x= []

test_y= []

for dirs in os.listdir(path):

# print dirs

for filename in os.listdir(os.path.join(path,dirs)):

imgpath =os.path.join(os.path.join(path,dirs),filename)

img = Image.open(imgpath)

img =img.convert(‘L’).resize((28,28))

width,hight=img.size

img = numpy.asarray(img,dtype=’float64′)/256.

下圖是 Pascal VOC 數據集格式。

1、 Annotations 目錄是存放 xml 文件；

2、 ImageSets 目錄是存放 txt 文件，主要是測試集、訓練集、驗證集等文件名稱的集合；

3、 JPEGImages 目錄是存放圖片文件（ jpg ）；

1、從 Annotations 目錄下讀取 xml 目錄；

2、把 xml 目錄，隨機重置一下，這樣在訓練的時候，各個分類是隨機讀取，不會出現某一個分類聚集讀取，從而影響訓練效果。當然，你也可以在訓練的時候選擇隨機重置，道理是一樣的；

3、創建將要寫入的 txt 文件。這裡示範了訓練集、驗證集，其他的可自行添加；

4、讀取目錄文件，通過前綴判斷，寫入 txt 文件。

有時候不需要指定數據集，只是從一個大的原始數據集中，隨機選取一部分當中訓練集、一部分當作驗證集、一部分當作測試集。