Основы ИИ и нейросетей: практический курс

Обучающая, валидационная и тестовая выборки

Зачем делить данные на три части, как выглядит подглядывание в тест и как считаются доли 60/20/20 на учебном наборе цифр.

Урок 6 из 1545 минут с практикойОбновлено

Представьте, что вы готовитесь к экзамену по задачнику. Решаете примеры, сверяетесь с ответами, разбираете ошибки. Потом садитесь за вариант, который раньше не видели, — и только он показывает, чему вы научились. Если же вы заранее подсмотрели ответы к этому варианту и подогнали под них решения, оценка ничего не скажет о вашем умении.

С данными для модели происходит то же самое. Набор цифр из scikit-learn, с которым мы работаем, — это 1797 изображений рукописных цифр 8 × 8 пикселей. Модель учится на одной части, настраивается на другой, а проверяется на третьей, которую до финала никто не трогал.

Три роли одной таблицы

Обучающая часть (train) — то, по чему модель подбирает свои внутренние параметры. Валидационная (validation) — то, по чему вы сравниваете варианты: какая модель лучше, какое преобразование полезнее. Тестовая (test) — то, что открывается один раз, когда решение уже принято, и даёт честную оценку.

Порядок здесь важнее пропорций. Сначала данные делятся, потом начинается любая настройка. Если вы сначала посчитали среднее по всей таблице, а потом разделили её, среднее уже содержит сведения о тестовой части. Документация scikit-learn формулирует правило коротко: тестовые данные никогда не должны участвовать в решениях о модели, а метод fit на тесте не вызывается вообще.

Что происходит, когда тест подглядывает

Самый наглядный случай — отбор признаков. В официальном руководстве scikit-learn описан пример: 10 000 случайно сгенерированных признаков, метки при этом тоже случайны. Между признаками и метками нет никакой связи, поэтому честная точность должна быть около 0,5 — как подбрасывание монеты. Но если отбор признаков провести по всем данным, включая тестовые, а разделить уже потом, точность оказывается заметно выше случайной. Модель получила преимущество, которого в реальной работе не будет.

Тот же механизм работает с масштабированием и заполнением пропусков. StandardScaler запоминает среднее и разброс признака. Если считать их по всем строкам, включая тестовые, то в параметры преобразования попадает информация из теста. Формально ошибки нет, код выполняется, метрика считается — и врёт.

60/20/20 на реальных размерах

В учебном файле digits_lab.py разделение сделано в два шага. Сначала 20% откладывается под тест, затем четверть оставшихся — под валидацию. Целевые доли: 60% обучение, 20% валидация, 20% тест.

X_work, X_test, y_work, y_test = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=42)
X_train, X_valid, y_train, y_valid = train_test_split(
    X_work, y_work, test_size=0.25, stratify=y_work, random_state=42)

Посчитаем, что получилось на 1797 объектах. Тест — это 20%, то есть 359,4, округление даёт 360 строк. Остаётся 1437. Четверть от них — 359,25, снова 360 на валидацию, а обучение забирает 1077. В отчёте лаборатории эти числа и записаны: train 1077, validation 360, test 360. Отклонение от ровных процентов — обычное следствие округления при делении.

Параметр stratify=y следит, чтобы доли десяти цифр в каждой части были близки к исходным. Иначе в маленькой валидационной выборке какая-то цифра могла бы оказаться представлена одним-двумя примерами, и оценка по ней стала бы случайной. random_state=42 фиксирует разбиение, чтобы повторный запуск дал те же части. Это удобство воспроизведения, а не доказательство, что именно такое деление лучше других.

Один запуск: выбор по валидации, проверка по тесту

В лаборатории обучаются три варианта: DummyClassifier, который всегда называет самую частую цифру, логистическая регрессия и небольшая нейросеть MLPClassifier. Все три обучаются только на X_train и сравниваются на X_valid. Результаты валидации в этом запуске: baseline 0,1028, логистическая регрессия 0,9722, нейросеть 0,9444. Выбор падает на логистическую регрессию — у неё лучшая валидационная точность.

И только теперь вызывается тест. Его точность — 0,9583. Обратите внимание: она ниже валидационной. Это нормально и полезно: валидация участвовала в выборе, поэтому слегка оптимистична, а тест такой роли не играл. Если бы после этого результата мы начали менять параметры и снова смотреть на тест, он бы превратился во вторую валидацию и перестал быть независимым.

Масштабирование в этом коде спрятано в make_pipeline(StandardScaler(), ...). Конвейер гарантирует, что fit для scaler вызывается на обучающей части, а к валидации и тесту применяется уже готовое преобразование. Это тот же приём, который в соседней теме про обучение модели в Pipeline собирается по шагам.

Когда случайное деление не подходит

Разбиение выше перемешивает строки наугад. Для изображений цифр это разумно: каждый объект независим. Но так бывает не всегда.

  • Повторяющиеся объекты. Если у одного клиента пять писем, случайное деление разложит их по разным частям, и модель будет проверяться на тех же клиентах, что видела при обучении. Нужно групповое разделение: все письма клиента попадают только в одну часть.
  • Порядок во времени. Если нужно предсказывать будущее, обучаться на более поздних записях и проверяться на ранних нельзя. Части делят по дате: прошлое — в обучение, будущее — в проверку.
  • Преобразования с обучением. Масштабирование, заполнение пропусков, отбор признаков — всё, что запоминает статистику, настраивается только на обучающей части.

Упражнение: разделение по клиентам

У вас 500 клиентов, у каждого ровно пять писем — всего 2500 строк. Нужно проверить модель на новых клиентах. Предложите схему разделения и объясните, почему обычный train_test_split по строкам здесь не годится.

Ожидаемый ответ. Делить нужно не строки, а клиентов: например, 300 клиентов в обучение, 100 в валидацию, 100 в тест, а затем брать все письма клиента целиком в ту часть, куда он попал. Доли по строкам при этом сохранятся (1500 / 500 / 500), но ни один клиент не окажется сразу в двух частях. Обычное разбиение по строкам перемешает письма одного человека между обучением и проверкой, и оценка на тесте будет завышена: модель уже видела стиль этих клиентов.

Подробнее по теме: 12. Common pitfalls and recommended practices — scikit-learn 1.9.1 documentation; Может ли плохая модель победить хорошую? Как Data Leakage обманывает метрики / Хабр.