Основы ИИ и нейросетей: практический курс

Переобучение и честный выбор параметров

Учимся видеть переобучение по разрыву train/valid, менять alpha у MLP и выбирать параметр только по валидации, не трогая тест.

Урок 11 из 1545 минут с практикойОбновлено

Две модели показали на обучающих примерах почти идеальный результат: 0,99 и 0,97. На валидации первая просела до 0,93, вторая держится на 0,95. Какую брать? Ответ зависит не от того, кто лучше запомнил тренировку, а от того, кто лучше работает на данных, которых не видел. Разберём, откуда берётся разрыв, как его уменьшают и как выбрать параметр, не обманув себя.

Почему модель может знать тренировку назубок

У многослойного перцептрона много весов, и обучение подбирает их так, чтобы уменьшить ошибку на тренировочных примерах. Если веса становятся большими, модель может подстроиться под случайные детали конкретных изображений: шум пикселей, случайный наклон, особенности почерка. На тренировке это выглядит как прогресс, на новых примерах — как провал. Такое поведение называют переобучением.

Разрыв между accuracy на обучении и на валидации — сигнал, но не приговор. Причин у разрыва несколько: модель слишком сложная для объёма данных, тренировка и валидация собраны из разных источников, разметка где-то неаккуратная. Прежде чем крутить параметры, полезно проверить, что обе выборки действительно похожи по составу.

Обратная ситуация — недообучение: и на тренировке, и на валидации качество низкое. Тогда усложнение или ослабление ограничений может помочь. Поэтому смотрят на две вещи сразу: абсолютный уровень метрики и величину разрыва.

alpha: штраф за большие веса

В MLPClassifier из scikit-learn есть параметр alpha — коэффициент L2-регуляризации. Он добавляет в функцию потерь штраф, пропорциональный сумме квадратов весов. Чем больше alpha, тем сильнее модель «стесняется» раздувать веса и тем проще становится её решающая граница. Меньше alpha — больше свободы подстроиться под тренировку.

Это не кнопка «улучшить точность». Слишком большой штраф приводит к недообучению: разрыв сокращается, но обе оценки падают. Оптимальное значение зависит от данных и архитектуры, и его ищут сравнением, а не угадывают.

Другие способы ограничить подстройку: уменьшить число скрытых нейронов, включить раннюю остановку (early_stopping=True — обучение прекращается, когда валидационная ошибка перестаёт улучшаться), собрать больше разнообразных примеров. В лабораторном файле ранняя остановка уже включена, поэтому часть работы по сдерживанию переобучения сделана за нас.

Два журнала, один вывод

Ниже — учебные числа, придуманные для иллюстрации. Они не описывают запуск лаборатории и не обещают похожих результатов.

Вариантalphatrain accuracyvalid accuracyРазрыв
А0,00010,990,930,06
Б0,010,970,950,02

Вариант А почти идеально запомнил тренировку, но потерял шесть процентных пунктов на валидации. Вариант Б скромнее на обучении, зато устойчивее на новых примерах. Если правило выбора — максимум валидационной accuracy, побеждает Б, хотя по тренировочной метрике он хуже. Это нормально: тренировочная accuracy не участвует в выборе.

Обратите внимание: разрыв у Б меньше, но это не единственная причина выбрать его. Если бы оба варианта давали на валидации 0,80, меньший разрыв сам по себе не сделал бы модель хорошей — она просто одинаково плоха всюду.

Как поставить честный опыт с alpha

План лучше записать до запуска, чтобы потом не подбирать объяснение под результат. Опора — уже знакомая схема с тремя выборками: тренировка, валидация, тест. Тест открывается один раз, в самом конце, и не участвует в выборе.

  1. Возьмите копию digits_lab.py и оставьте в ней всё до выбора модели включительно.
  2. Зафиксируйте неизменяемые параметры: hidden_layer_sizes=(32,), max_iter=300, early_stopping=True, random_state=42, масштабирование через StandardScaler.
  3. Меняйте только alpha: например, 0,0001 и 0,01.
  4. Сравнивайте по validation accuracy. При равенстве заранее решите, что остаётся первый вариант.
  5. Запишите оба результата в журнал, даже если один явно проиграл.

Фрагмент, который заменяет словарь моделей в копии файла:

from sklearn.neural_network import MLPClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import accuracy_score

for alpha in (0.0001, 0.01):
    model = make_pipeline(StandardScaler(), MLPClassifier(
        hidden_layer_sizes=(32,), alpha=alpha, max_iter=300,
        early_stopping=True, random_state=42))
    model.fit(X_train, y_train)
    train_acc = accuracy_score(y_train, model.predict(X_train))
    valid_acc = accuracy_score(y_valid, model.predict(X_valid))
    print(f'alpha={alpha}: train={train_acc:.4f}, valid={valid_acc:.4f}')

Ожидаемый результат — две строки с train и valid для каждого значения. Конкретные числа зависят от запуска; смотрите на соотношение, а не на совпадение с таблицей выше. Если у большего alpha валидация выросла, а train упал — это ровно тот эффект, ради которого регуляризацию и добавляют. Если обе метрики просели, штраф, скорее всего, перебор: попробуйте значение между двумя.

Для более надёжного сравнения на тренировочной части применяют кросс-валидацию, не касаясь теста. На маленьком наборе разница в один-два примера может быть случайной, и один прогон этого не покажет.

Ловушка: тест, который видели слишком часто

Соблазн велик: прогнать несколько alpha, посмотреть на тестовую accuracy и выбрать лучший. Но тогда тест превращается во вторую валидацию, и его оценка перестаёт быть честной. Документация scikit-learn формулирует правило прямо: тестовые данные никогда не используются для решений о модели, fit на тесте не вызывается. То же касается подготовительных шагов вроде масштабирования — параметры преобразования учатся только на тренировке, иначе информация из теста просачивается в модель.

Если тест уже многократно просмотрен и повлиял на выбор, честно отметьте это ограничение в отчёте и подготовьте новую независимую проверку. Скрывать такой факт хуже, чем признать.

Упражнение: план на два запуска

Составьте таблицу из двух строк для alpha 0,0001 и 0,01. В шапке — неизменяемые параметры, метрика сравнения и правило выбора при равенстве. Заполните колонки train и valid после запуска. Затем ответьте письменно на два вопроса: какое наблюдение заставило бы вас отказаться от гипотезы о переобучении, и почему вы не станете проверять победителя на тесте до финального отчёта.

Ожидаемый результат: заполненная таблица с двумя запусками, выбранный по валидации вариант и короткая запись, что тест остался нетронутым. Если оба alpha дали близкие результаты, это тоже вывод — и он честнее, чем подгонка под максимум.

Подробнее по теме: 12. Common pitfalls and recommended practices — scikit-learn 1.9.1 documentation; 1.17. Neural network models (supervised) — scikit-learn 1.9.1 documentation.