Две модели показали на обучающих примерах почти идеальный результат: 0,99 и 0,97. На валидации первая просела до 0,93, вторая держится на 0,95. Какую брать? Ответ зависит не от того, кто лучше запомнил тренировку, а от того, кто лучше работает на данных, которых не видел. Разберём, откуда берётся разрыв, как его уменьшают и как выбрать параметр, не обманув себя.
Почему модель может знать тренировку назубок
У многослойного перцептрона много весов, и обучение подбирает их так, чтобы уменьшить ошибку на тренировочных примерах. Если веса становятся большими, модель может подстроиться под случайные детали конкретных изображений: шум пикселей, случайный наклон, особенности почерка. На тренировке это выглядит как прогресс, на новых примерах — как провал. Такое поведение называют переобучением.
Разрыв между accuracy на обучении и на валидации — сигнал, но не приговор. Причин у разрыва несколько: модель слишком сложная для объёма данных, тренировка и валидация собраны из разных источников, разметка где-то неаккуратная. Прежде чем крутить параметры, полезно проверить, что обе выборки действительно похожи по составу.
Обратная ситуация — недообучение: и на тренировке, и на валидации качество низкое. Тогда усложнение или ослабление ограничений может помочь. Поэтому смотрят на две вещи сразу: абсолютный уровень метрики и величину разрыва.
alpha: штраф за большие веса
В MLPClassifier из scikit-learn есть параметр alpha — коэффициент L2-регуляризации. Он добавляет в функцию потерь штраф, пропорциональный сумме квадратов весов. Чем больше alpha, тем сильнее модель «стесняется» раздувать веса и тем проще становится её решающая граница. Меньше alpha — больше свободы подстроиться под тренировку.
Это не кнопка «улучшить точность». Слишком большой штраф приводит к недообучению: разрыв сокращается, но обе оценки падают. Оптимальное значение зависит от данных и архитектуры, и его ищут сравнением, а не угадывают.
Другие способы ограничить подстройку: уменьшить число скрытых нейронов, включить раннюю остановку (early_stopping=True — обучение прекращается, когда валидационная ошибка перестаёт улучшаться), собрать больше разнообразных примеров. В лабораторном файле ранняя остановка уже включена, поэтому часть работы по сдерживанию переобучения сделана за нас.
Два журнала, один вывод
Ниже — учебные числа, придуманные для иллюстрации. Они не описывают запуск лаборатории и не обещают похожих результатов.
| Вариант | alpha | train accuracy | valid accuracy | Разрыв |
|---|---|---|---|---|
| А | 0,0001 | 0,99 | 0,93 | 0,06 |
| Б | 0,01 | 0,97 | 0,95 | 0,02 |
Вариант А почти идеально запомнил тренировку, но потерял шесть процентных пунктов на валидации. Вариант Б скромнее на обучении, зато устойчивее на новых примерах. Если правило выбора — максимум валидационной accuracy, побеждает Б, хотя по тренировочной метрике он хуже. Это нормально: тренировочная accuracy не участвует в выборе.
Обратите внимание: разрыв у Б меньше, но это не единственная причина выбрать его. Если бы оба варианта давали на валидации 0,80, меньший разрыв сам по себе не сделал бы модель хорошей — она просто одинаково плоха всюду.
Как поставить честный опыт с alpha
План лучше записать до запуска, чтобы потом не подбирать объяснение под результат. Опора — уже знакомая схема с тремя выборками: тренировка, валидация, тест. Тест открывается один раз, в самом конце, и не участвует в выборе.
- Возьмите копию digits_lab.py и оставьте в ней всё до выбора модели включительно.
- Зафиксируйте неизменяемые параметры:
hidden_layer_sizes=(32,),max_iter=300,early_stopping=True,random_state=42, масштабирование черезStandardScaler. - Меняйте только
alpha: например, 0,0001 и 0,01. - Сравнивайте по validation accuracy. При равенстве заранее решите, что остаётся первый вариант.
- Запишите оба результата в журнал, даже если один явно проиграл.
Фрагмент, который заменяет словарь моделей в копии файла:
from sklearn.neural_network import MLPClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import accuracy_score
for alpha in (0.0001, 0.01):
model = make_pipeline(StandardScaler(), MLPClassifier(
hidden_layer_sizes=(32,), alpha=alpha, max_iter=300,
early_stopping=True, random_state=42))
model.fit(X_train, y_train)
train_acc = accuracy_score(y_train, model.predict(X_train))
valid_acc = accuracy_score(y_valid, model.predict(X_valid))
print(f'alpha={alpha}: train={train_acc:.4f}, valid={valid_acc:.4f}')
Ожидаемый результат — две строки с train и valid для каждого значения. Конкретные числа зависят от запуска; смотрите на соотношение, а не на совпадение с таблицей выше. Если у большего alpha валидация выросла, а train упал — это ровно тот эффект, ради которого регуляризацию и добавляют. Если обе метрики просели, штраф, скорее всего, перебор: попробуйте значение между двумя.
Для более надёжного сравнения на тренировочной части применяют кросс-валидацию, не касаясь теста. На маленьком наборе разница в один-два примера может быть случайной, и один прогон этого не покажет.
Ловушка: тест, который видели слишком часто
Соблазн велик: прогнать несколько alpha, посмотреть на тестовую accuracy и выбрать лучший. Но тогда тест превращается во вторую валидацию, и его оценка перестаёт быть честной. Документация scikit-learn формулирует правило прямо: тестовые данные никогда не используются для решений о модели, fit на тесте не вызывается. То же касается подготовительных шагов вроде масштабирования — параметры преобразования учатся только на тренировке, иначе информация из теста просачивается в модель.
Если тест уже многократно просмотрен и повлиял на выбор, честно отметьте это ограничение в отчёте и подготовьте новую независимую проверку. Скрывать такой факт хуже, чем признать.
Упражнение: план на два запуска
Составьте таблицу из двух строк для alpha 0,0001 и 0,01. В шапке — неизменяемые параметры, метрика сравнения и правило выбора при равенстве. Заполните колонки train и valid после запуска. Затем ответьте письменно на два вопроса: какое наблюдение заставило бы вас отказаться от гипотезы о переобучении, и почему вы не станете проверять победителя на тесте до финального отчёта.
Ожидаемый результат: заполненная таблица с двумя запусками, выбранный по валидации вариант и короткая запись, что тест остался нетронутым. Если оба alpha дали близкие результаты, это тоже вывод — и он честнее, чем подгонка под максимум.
Подробнее по теме: 12. Common pitfalls and recommended practices — scikit-learn 1.9.1 documentation; 1.17. Neural network models (supervised) — scikit-learn 1.9.1 documentation.