Высокая точность, которая ничего не значит
Представьте учебную задачу: по описанию обращения определить, к какой из десяти категорий оно относится. Одна категория встречается в 90% случаев, остальные девять — по чуть-чуть. Модель, которая всегда отвечает «первая категория», угадает 90% ответов. Выглядит солидно, пока не спросишь: а что она умеет различать? Ничего. Она просто запомнила самый частый ответ.
Именно поэтому в машинном обучении принято начинать не с самой сложной модели, а с baseline — простого, заранее понятного способа давать ответ. Baseline нужен не для того, чтобы победить, а для того, чтобы задать нижнюю планку. Если обученная модель не обгоняет его, значит, обучение ничего полезного не дало, даже если абсолютное число на экране выглядит прилично.
В scikit-learn для такого сравнения есть DummyClassifier. Он не смотрит на признаки, а действует по простому правилу. Со стратегией most_frequent он всегда возвращает самый частый класс обучающей выборки. Документация scikit-learn прямо называет такие оценки ориентиром для случайных предсказаний.
Как устроен честный эксперимент
Сравнение имеет смысл только при одинаковых условиях. Все модели получают одни и те же обучающие данные, проверяются на одной и той же валидационной выборке и оцениваются одной метрикой. Если одна модель училась на всём наборе, а другая — на его части, разница в точности может отражать разницу в данных, а не в методах.
В нашем курсе данные уже разделены на три части: обучающую, валидационную и тестовую. Валидация нужна для выбора варианта, тест — для итоговой оценки выбранного. Подробнее об этом разделении — в уроке «Обучающая, валидационная и тестовая выборки». Правило простое: сравниваем модели по валидации, выбираем одну, и только потом один раз смотрим на тест. Если подбирать параметры по тестовой оценке, она перестаёт быть независимой проверкой.
Вторая ловушка — несопоставимые метрики. Accuracy (доля правильных ответов) удобна, но при сильном дисбалансе классов она обманчива: модель, всегда отвечающая «большинство», получает высокую accuracy при нулевой пользе. Поэтому рядом с accuracy полезно смотреть на точность и полноту по классам — об этом в уроке «Метрики и матрица ошибок». Для первого сравнения достаточно accuracy, но помните, что она не рассказывает всю историю.
Учебный пример: три варианта на цифрах
В лабораторной работе этого модуля используется встроенный в scikit-learn набор рукописных цифр. В нём десять классов, представленных примерно одинаково, поэтому baseline с ответом «самый частый класс» даёт около одной десятой правильных ответов. Точное значение зависит от разбиения.
Сравниваются три варианта:
- baseline —
DummyClassifier(strategy='most_frequent'), признаки не использует; - logistic —
LogisticRegressionвнутриPipelineсо стандартизацией признаков; - mlp — небольшая нейросеть
MLPClassifierс одним скрытым слоем, тоже вPipeline.
Логистическая регрессия, несмотря на название, здесь классификатор: она выбирает одну из десяти меток. Pipeline связывает подготовку признаков и модель в один объект, чтобы преобразования не «подсматривали» в валидацию и тест. Зачем это нужно, разбирается в уроке «Обучение модели в Pipeline».
В одном из запусков лабораторной работы на валидации получились такие оценки: baseline — 0.1028, логистическая регрессия — 0.9722, нейросеть — 0.9444. Это результат конкретного запуска с фиксированным random_state=42, а не гарантия для любой настройки. Baseline ожидаемо оказался на уровне случайного угадывания среди десяти классов, а обе обученные модели дали заметный прирост. Нейросеть при этом немного уступила линейной модели — и это нормальный результат, а не повод прятать цифры.
Правило выбора в лабораторной работе задано заранее: побеждает вариант с максимальной валидационной accuracy. По этому правилу выбран logistic, и только после выбора на тестовой части получена accuracy 0.9583. Тестовая оценка ниже валидационной — обычное дело, она измерена на данных, которые модель не видела.
Что делать, если нейросеть проиграла
Иногда ожидания не совпадают с результатом: более сложная модель оказывается хуже простой. Это не ошибка эксперимента и не повод менять цифры. Возможных объяснений несколько: данных мало для сложной модели, параметры подобраны неудачно, признаки уже хорошо разделяются линейно. Проверять стоит сам эксперимент — одинаковые ли данные, одна ли метрика, нет ли утечки, — а не подгонять вывод под желаемую картинку.
Выбор модели — это не соревнование архитектур, а решение задачи при известных ограничениях. Если простая модель даёт сопоставимое или лучшее качество, у неё есть преимущества: её проще обучить, объяснить и сопровождать. В уроке «Переобучение и честный выбор параметров» разбирается, как отличить реальное улучшение от подгонки под конкретную выборку.
Упражнение: собственный baseline на бумаге
Возьмите вымышленный учебный набор из 200 писем: 150 помечены как «обычные», 50 — как «спам». Вы собираетесь сравнивать две модели по accuracy на валидации.
- Какую accuracy даст
DummyClassifier(strategy='most_frequent')на таком наборе? - Почему accuracy 0.75 у настоящей модели ещё не доказывает, что она научилась отличать спам?
Ожидаемый ответ. Baseline всегда предсказывает «обычное», поэтому accuracy = 150 / 200 = 0.75. Модель с accuracy 0.75 может вести себя так же, как baseline: если она ни разу не угадала спам, но верно определила все обычные письма, доля правильных ответов совпадёт. Чтобы увидеть разницу, нужны точность и полнота по классу «спам» или матрица ошибок. Именно поэтому baseline считают до того, как смотреть на результаты обученных моделей.
Источники
- scikit-learn: Getting Started — оценка моделей, Pipeline и защита от утечки данных.
- scikit-learn: Metrics and scoring — метрики качества и роль Dummy-оценок как ориентира.