Переобучение и регуляризация

1. Недообучение и переобучение

Переобучение (англ. overfitting) — явление, при котором ошибка модели на объектах, не участвовавших в обучении, оказывается существенно выше, чем ошибка на объектах, участвовавших в обучении. Возникает при слишком сложной модели (много весов) относительно объёма и разнообразия обучающих данных: модель запоминает конкретные примеры вместо того, чтобы находить закономерность, которая обобщается на новые данные.

Недообучение (англ. underfitting) — обратная ситуация: ошибка модели велика уже на самих обучающих данных. Возникает при слишком простой модели, неспособной уловить даже ту зависимость, что есть в обучающей выборке.

Типичные причины переобучения: избыточное число весов относительно объёма обучающей выборки (модель обладает достаточной «ёмкостью», чтобы запомнить конкретные примеры), слишком долгое обучение (модель начинает подстраиваться под шум в данных) и непредставительная обучающая выборка.

2. Остановка и управление обучением: callbacks

При переобучении ошибка на обучающих данных обычно продолжает падать с ростом числа эпох, а ошибка на проверочной выборке в какой-то момент начинает расти:

EarlyStopping останавливает обучение, когда отслеживаемая метрика (обычно val_loss) не улучшается на протяжении заданного числа эпох:

from tensorflow.keras.callbacks import EarlyStopping

early_stop = EarlyStopping(
    monitor='val_loss',
    min_delta=0,
    patience=3,
    restore_best_weights=True
)

patience=3 — сколько эпох подряд без улучшения нужно потерпеть перед остановкой; restore_best_weights=True возвращает веса той эпохи, где val_loss был минимален, а не веса последней (уже переобученной) эпохи.

ModelCheckpoint сохраняет модель на диск при улучшении отслеживаемой метрики — полезно само по себе, а не только вместе с EarlyStopping:

from tensorflow.keras.callbacks import ModelCheckpoint

checkpoint = ModelCheckpoint(
    filepath,
    monitor='val_loss',
    mode='min',
    save_best_only=True
)

LearningRateScheduler изменяет скорость обучения \(\alpha\) (конспект 2, формула (2.5)) по ходу обучения согласно заданной функции от номера эпохи — например, уменьшает её со временем, что часто помогает точнее сойтись к минимуму на поздних эпохах:

from tensorflow.keras.callbacks import LearningRateScheduler

callback = LearningRateScheduler(scheduler)

Все callbacks передаются в fit списком:

history = model.fit(X_train, y_train,
                    validation_data=(X_test, y_test),
                    epochs=50, batch_size=32,
                    callbacks=[early_stop, checkpoint, callback])

3. Dropout

Dropout — способ регуляризации, при котором на каждом шаге обучения каждый нейрон слоя с вероятностью \(p\) («rate») временно исключается из сети: его выход обнуляется, вместе со всеми исходящими из него связями на этом шаге. Оставшиеся выходы масштабируются на \(1/(1-p)\), чтобы сохранить средний масштаб сигнала:

где \(m_i\) — случайная величина, равная 1 с вероятностью \(1-p\) (нейрон активен) и 0 с вероятностью \(p\) (нейрон исключён на этом шаге). На каждом шаге обучения исключается свой случайный набор нейронов — сеть не может полагаться на конкретную комбинацию нейронов и вынуждена находить более устойчивые признаки.

from tensorflow.keras.layers import Dropout

model.add(Dropout(0.2))

Dropout(0.2) ставится сразу после слоя, выход которого нужно проредить (как в Conv2D из конспекта 4); значение 0.2 означает, что каждый нейрон исключается с вероятностью 20% на каждом шаге обучения.

4. Batch normalization

Batch normalization нормализует вход слоя внутри каждого батча так, чтобы он имел нулевое среднее и единичную дисперсию, а затем позволяет сети восстановить нужный масштаб через два обучаемых параметра:

где \(\mu_B\), \(\sigma_B^2\) — среднее и дисперсия по текущему батчу, \(\varepsilon\) — малая константа для устойчивости при делении, а \(\gamma\), \(\beta\) — обучаемые параметры (масштаб и сдвиг), которые находятся тем же градиентным спуском (конспект 2, формула (2.5)), что и остальные веса сети. Смысл параметров \(\gamma,\beta\): без них слой был бы обязан всегда иметь нормализованный выход, что могло бы обеднить представление; с ними сеть может обучиться и обратно расширить масштаб, если это окажется полезным.

Нормализация входа стабилизирует обучение: без неё по мере прохождения сигнала через слои его масштаб и среднее могут сильно исказиться, что затрудняет выбор скорости обучения \(\alpha\), общей для всех весов сети.

from tensorflow.keras.layers import BatchNormalization

model.add(BatchNormalization())

4.1. Когда не стоит ставить Dropout перед BatchNormalization

Dropout и batch normalization не всегда стоит комбинировать в одном блоке без разбора порядка. Ли с соавторами показали, что если слой Dropout стоит непосредственно перед BatchNormalization, возникает так называемый сдвиг дисперсии (variance shift): во время обучения Dropout меняет дисперсию сигнала случайным образом от шага к шагу, а во время использования сети (когда Dropout не действует) статистика, накопленная BatchNormalization за всё обучение, этому изменившемуся масштабу уже не соответствует — это ухудшает точность на новых данных сильнее, чем можно было бы ожидать от каждого из этих слоёв по отдельности. Рекомендация из этой работы: если оба слоя нужны в одной сети, ставить весь Dropout после всех слоёв BatchNormalization, а не перед ними или между ними.

5. Аугментация данных

5.1. Откуда берутся размеченные данные

До сих пор обучающие данные были готовыми: CIFAR-10 поставляется уже с метками. В реальной задаче метки приходится создавать — размечать данные вручную. Для изображений это делается в специализированных программах: разметчик обводит объекты и присваивает им классы. Одна из распространённых свободных программ — LabelMe:

Разметку масштабируют несколькими путями: краудсорсинг (платформы вроде Amazon Mechanical Turk — быстро и доступно, но качество не гарантировано), аутсорсинг фрилансерам и полуавтоматическая разметка, когда предварительные метки расставляет уже обученная модель, а человек только исправляет её ошибки. Во всех случаях ручная разметка — самая дорогая часть подготовки данных: счёт идёт на человеко-часы за каждую тысячу примеров.

5.2. Искусственное расширение выборки

Именно из-за дороговизны разметки размеченных примеров обычно мало, и их число стараются увеличить искусственно: применить к исходным примерам преобразования, которые не меняют класс объекта, но меняют его представление в пикселях. Для изображений — это, например, отражение, поворот, добавление отступов, обрезка и добавление шума.

В Keras такие преобразования можно добавить прямо в модель отдельными слоями, применяемыми только во время обучения:

from tensorflow.keras.layers import RandomFlip, RandomRotation

model = Sequential()
model.add(RandomFlip('horizontal'))
model.add(RandomRotation(0.05))
model.add(Conv2D(filters=32, kernel_size=(3, 3), activation='relu'))
# ... остальная часть сети, как в конспекте 4

Контрольные вопросы

• Чем недообучение отличается от переобучения?
  При недообучении ошибка велика уже на обучающих данных (модель слишком простая). При переобучении ошибка на обучающих данных мала, а на данных, не участвовавших в обучении, — существенно выше (модель слишком сложная и запомнила обучающие примеры).
• Как ведут себя ошибки на обучающей и проверочной выборках при переобучении по мере роста числа эпох?
  Ошибка на обучающей выборке продолжает убывать, а ошибка на проверочной выборке в какой-то момент начинает расти — это и есть точка, после которой обучение стоит остановить.
• Что делает EarlyStopping и за что отвечает параметр patience?
  EarlyStopping останавливает обучение, если отслеживаемая метрика (обычно val_loss) не улучшается. patience задаёт число эпох подряд без улучшения, которое нужно выдержать перед остановкой.
• Что в действительности означает rate у слоя Dropout?
  Вероятность исключить нейрон на данном шаге обучения, а не вероятность его оставить. Dropout(0.2) исключает в среднем 20% нейронов слоя на каждом шаге.
• Зачем нужна batch normalization и чем она отличается от Dropout?
  Batch normalization нормализует масштаб (среднее и дисперсию) входа слоя внутри батча для стабильности обучения — это не связано со случайным исключением нейронов, которым занимается Dropout; механизмы решают разные задачи и часто используются вместе.
• Почему аугментацию применяют только к обучающим данным, а не к проверочным или тестовым?
  Аугментация — способ расширить обучающую выборку. Проверочная и тестовая выборки должны отражать реальные данные, на которых будет использоваться модель, а не искусственно изменённые примеры.