一、数据生成器
1、model.fit_generator负责的任务就是训练神经网络模型，但是要训练，需要大量的数据集。一般来讲，数据集的大小有限制，如果直接放入内存中进行训练，会非常耗时。这时就需要使用数据生成器来进行数据的生成和提供。
2、数据生成器可以解决内存有限的问题，每次只产一组数据输入模型中，来获取输出，并反馈Loss给模型，模型在此基础上进行参数更新。相比较于直接将所有数据一次性读入内存提高了运行效率。Keras提供了fit_generator函数，从而使训练过程变得更加容易。
3、数据生成器的实现需要调用keras.preprocessing.image.ImageDataGenerator()方法，并且指定一些参数。其中要注意的参数主要是rescale, shear_range, zoom_range, horizontal_flip等，分别指的是对图片进行缩放、剪裁、旋转、翻转等操作。
# 定义数据生成器
from keras.preprocessing.image import ImageDataGenerator
train_datagen = ImageDataGenerator(
rescale=1./255, # 图像缩放
shear_range=0.2, # 剪裁
zoom_range=0.2, # 缩放
horizontal_flip=True) # 翻转
val_datagen = ImageDataGenerator( rescale=1./255 )
# 提供数据, flow_from_directory读取本地文件
batch_size = 64
train_generator = train_datagen.flow_from_directory(
train_data_dir, # 训练数据路径
target_size=(height, width),
batch_size=batch_size,
class_mode='binary') # 图片分类，返回generator类
val_generator = val_datagen.flow_from_directory(
val_data_dir,
target_size=(height, width),
batch_size=batch_size,
class_mode='binary')
二、fit_generator参数详解
1、fit_generator函数也是负责训练模型，函数参数相对于fit函数会有所变化。如：steps_per_epoch、epochs、validation_data等。下面详细解释一下各个参数的含义。
2、 generator: 直接提供数据集的迭代器，这个generator只能包含图片的数据（x），而且不包含数据标签，比较少用。
3、 steps_per_epoch: 一个epoch包含的训练次数，每次批量size等于batch_size。比如总共有1000张图片，batch_size为10，那一个epoch需要训练1000/10=100次。
4、 epochs: 整个数据集迭代多少遍，才算完成一次训练。epochs越大，模型训练时间越长。
5、 validation_data: 验证集的数据，长度和batch_size有关，所以可以为空
history = model.fit_generator(
train_generator,
steps_per_epoch=train_generator.samples/train_generator.batch_size, # 一个epoch的训练次数
epochs=epochs,
validation_data=val_generator,
validation_steps=val_generator.samples/val_generator.batch_size, # 一个epoch的验证次数
verbose=1)
三、使用model.fit_generator的注意事项
1、使用fit_generator需要注意一些错误问题，这些错误可能会引起抛出异常(perhaps a result of too many generator iterations),而且这些错误在不同的环境下可能是不可重复的。
2、原因在于如果生成器返回的样本数量不是generator.batch_size的倍数，Keras会抛出异常。所以在完成训练之后，需要对训练好的模型进行一些存储操作，以便长时间保持模型不变。
3、同时，在对新数据进行预测的时候，需要注意图像的缩放等操作，否则会出现不符合预期的结果。
四、总结
本文对model.fit_generator函数进行了详细的解释和分析，讲述了使用过程中需要注意的问题和方法。对于使用Keras平台进行数据生成和训练的工程师来说，这篇文章非常实用。
原创文章，作者：PIAL，如若转载，请注明出处：https://www.506064.com/n/137597.html
微信扫一扫 
支付宝扫一扫 