web-dev-qa-db-ja.com

データ増強画像データジェネレータケラスセマンティックセグメンテーション

Kerasを使用したセマンティックセグメンテーションの一部の画像データに完全な畳み込みネットワークを適合させています。ただし、オーバーフィッティングにはいくつかの問題があります。データがあまりないので、データを増やしたいです。ただし、ピクセル単位の分類を行いたいので、フィーチャイメージとラベルイメージの両方に適用するには、フリップ、回転、シフトなどの拡張機能が必要です。理想的には、オンザフライの変換にKeras ImageDataGeneratorを使用したいと思います。ただし、私が知る限り、フィーチャデータとラベルデータの両方で同等の変換を行うことはできません。

これが当てはまるかどうかは誰にも分かりませんが、そうでない場合は誰にもアイデアがありますか？それ以外の場合は、他のツールを使用してより大きなデータセットを作成し、一度にすべてをフィードします。

ありがとう！

computer-visiondeep-learningimage-segmentationkeras
19
TSW

ImageDataGeneratorを拡張して、これらのタイプのケースに合わせてより柔軟にする作業があります（例については Githubのこの問題 を参照してください）。

さらに、コメントでMikael Roussonが述べたように、ImageDataGeneratorの独自のバージョンを簡単に作成できますが、組み込み関数の多くを活用して簡単にできます。これは、画像ノイズ除去問題に使用したコード例です。ランダムクロップ+加法性ノイズを使用して、その場でクリーンでノイズの多い画像ペアを生成します。これを簡単に変更して、他の種類の拡張機能を追加できます。その後、 Model.fit_generator を使用して、これらのメソッドを使用してトレーニングできます。

from keras.preprocessing.image import load_img, img_to_array, list_pictures

def random_crop(image, crop_size):
    height, width = image.shape[1:]
    dy, dx = crop_size
    if width < dx or height < dy:
        return None
    x = np.random.randint(0, width - dx + 1)
    y = np.random.randint(0, height - dy + 1)
    return image[:, y:(y+dy), x:(x+dx)]

def image_generator(list_of_files, crop_size, to_grayscale=True, scale=1, shift=0):
    while True:
        filename = np.random.choice(list_of_files)
        try:
            img = img_to_array(load_img(filename, to_grayscale))
        except:
            return
        cropped_img = random_crop(img, crop_size)
        if cropped_img is None:
            continue
        yield scale * cropped_img - shift
def corrupted_training_pair(images, sigma):
    for img in images:
        target = img
        if sigma > 0:
            source = img + np.random.normal(0, sigma, img.shape)/255.0
        else:
            source = img
        yield (source, target)
def group_by_batch(dataset, batch_size):
    while True:
        try:
            sources, targets = Zip(*[next(dataset) for i in xrange(batch_size)])
            batch = (np.stack(sources), np.stack(targets))
            yield batch
        except:
            return
def load_dataset(directory, crop_size, sigma, batch_size):
    files = list_pictures(directory)
    generator = image_generator(files, crop_size, scale=1/255.0, shift=0.5)
    generator = corrupted_training_pair(generator, sigma)
    generator = group_by_batch(generator, batch_size)
    return generator

その後、上記のように使用できます：

train_set = load_dataset('images/train', (patch_height, patch_width), noise_sigma, batch_size)
val_set = load_dataset('images/val', (patch_height, patch_width), noise_sigma, batch_size)
model.fit_generator(train_set, samples_per_Epoch=batch_size * 1000, nb_Epoch=nb_Epoch, validation_data=val_set, nb_val_samples=1000)
14
Or Sharir

はい、できます。 Kerasのドキュメントの例を次に示します。同じシードとfit_generatorをシードした2つのジェネレーターを一緒に圧縮します。 https://keras.io/preprocessing/image/

# we create two instances with the same arguments 
data_gen_args = dict(featurewise_center=True,
                     featurewise_std_normalization=True,
                     rotation_range=90.,
                     width_shift_range=0.1,
                     height_shift_range=0.1,
                     zoom_range=0.2) 
image_datagen = ImageDataGenerator(**data_gen_args) 
mask_datagen = ImageDataGenerator(**data_gen_args)

# Provide the same seed and keyword arguments to the fit and flow methods seed = 1 
image_datagen.fit(images, augment=True, seed=seed) 
mask_datagen.fit(masks, augment=True, seed=seed)

image_generator = image_datagen.flow_from_directory(
    'data/images',
    class_mode=None,
    seed=seed)

mask_generator = mask_datagen.flow_from_directory(
    'data/masks',
    class_mode=None,
    seed=seed)

# combine generators into one which yields image and masks 
train_generator = Zip(image_generator, mask_generator)

model.fit_generator(
    train_generator,
    samples_per_Epoch=2000,
    nb_Epoch=50)
13
Dennis Sakva