Через неделю после удачного запуска вы повторяете команду — и точность другая. Или модель та же, а почему она путает две цифры, непонятно. Причина обычно одна: сохранили только модель, а всё, что делало результат результатом, осталось в истории терминала. Разберём, что записывать рядом с моделью и как из ошибок делать проверяемые гипотезы.
Что должно пережить перезапуск
Модель — лишь один артефакт эксперимента. Чтобы получить тот же результат, нужны ещё версия Python и библиотек, исходные данные и способ их подготовки, схема разделения на выборки, значение random_state, параметры моделей и сами метрики. Без любого куска повторение превращается в угадывание.
Отдельно зафиксируйте версию кода. Даже если проект лежит в Git, незакоммиченная правка перед запуском рвёт связь между «тем самым» результатом и текущим состоянием файлов. Перед запуском, результат которого вы будете обсуждать, сделайте коммит или сохраните копию файла.
В учебной лаборатории отчёт собирается автоматически. Вот его структура из одного измеренного запуска на Python 3.14 и scikit-learn 1.9.1 — это не эталон для любой платформы, а конкретный прогон:
Ниже показаны несколько полей одного реального запуска. В полном digits_report.json дополнительно есть показатели каждого класса и матрица ошибок; результаты другого запуска могут отличаться.
{
"python": "3.14.4",
"scikit_learn": "1.9.1",
"dataset": "sklearn.datasets.load_digits",
"random_state": 42,
"sizes": {
"train": 1077,
"validation": 360,
"test": 360
},
"validation_accuracy": {
"baseline": 0.10277777777777777,
"logistic": 0.9722222222222222,
"mlp": 0.9444444444444444
},
"selected": "logistic",
"test_accuracy": 0.9583333333333334
}
Здесь видно главное: модель выбрана по валидации (логистическая регрессия, 0.9722), а тестовая оценка 0.9583 получена уже после выбора и служит независимой проверкой. Если бы параметры подбирались по тесту, эта цифра перестала бы что-либо доказывать.
Разбор ошибки: от «плохо» к проверяемой гипотезе
Матрица ошибок в отчёте — таблица, где по строкам истинные метки, по столбцам предсказанные. Диагональ — угаданные ответы, всё остальное — путаница. В учебном запуске на тестовой части из 360 примеров модель ошиблась 15 раз (0.9583 — это 345 верных ответов). Но общее число мало что говорит: смотреть нужно, куда именно ушли ошибки.
Фраза «сеть плохо понимает девятки» — не гипотеза, её нельзя проверить. А вот «часть девяток с незамкнутой верхней петлёй уходит в четвёрку» — уже да: можно отобрать такие примеры и посмотреть, подтверждается ли закономерность. Разница в том, что у второй формулировки есть условие отбора и ожидаемый результат.
Порядок разбора, который экономит время:
- Открыть
test_confusion_matrixи найти самую крупную недиагональную пару классов. - Выписать индексы этих примеров и посмотреть на сами изображения.
- Проверить разметку: не перепутана ли метка, не обрезан ли рисунок, не отличается ли пример от остальных по яркости или масштабу.
- Сформулировать гипотезу с условием и планом проверки на отдельной подборке.
Шаг с проверкой разметки часто пропускают, а зря. Если в данных ошибка, никакая модель её не исправит, и вы будете чинить несуществующую проблему распознавания. Исправлять тестовую разметку только потому, что модель с ней не согласна, нельзя — это подгонка. Спорные примеры разбирают по заранее записанному правилу и фиксируют, что именно и почему изменили.
Ловушка: тест, который перестал быть тестом
Вы посмотрели на ошибки тестовой выборки, поменяли архитектуру, снова прогнали тест — и получили лучше. Формально цифра выросла, но теперь вы подбирали решение, зная ответы на тесте. Такая оценка смещена в оптимистичную сторону: на действительно новых данных результат может оказаться хуже.
Документация scikit-learn формулирует это жёстко: тестовые данные не должны использоваться для выбора модели, а fit на тесте вызывать нельзя. Если после просмотра теста вы что-то изменили, старую оценку помечают как предварительную, а для итогового вывода нужна независимая проверка — новая отложенная часть данных или прогон на свежих примерах.
Тот же принцип касается подготовки признаков. Масштабирование, отбор признаков и заполнение пропусков должны обучаться только на тренировочной части, иначе информация из теста просачивается в модель. Pipeline из предыдущих уроков как раз держит эти границы: fit видит только train, а transform применяется ко всем частям одинаково.
Журнал, по которому эксперимент повторит другой человек
Хороший журнал отвечает на вопрос «как это воспроизвести», а не «что я думал в тот момент». Минимальный набор полей:
| Поле | Что записать |
|---|---|
| Цель | Какую задачу решаем и по какой метрике судим |
| Данные | Источник, размеры выборок, схема разделения, random_state |
| Окружение | Версии Python и библиотек |
| Модели и параметры | Что сравнивали и с какими настройками |
| Результаты | Валидация по каждой модели, выбранная модель, тестовая оценка |
| Ограничения | На каких данных результат не проверен |
Последняя строка — не формальность. Точность 0.9583 на встроенном наборе цифр не означает, что модель так же хорошо распознает рукописные цифры с фотографии: другой масштаб, освещение, почерк. Честная запись ограничений защищает и вас, и того, кто будет читать отчёт позже.
Точное совпадение чисел на другой платформе не гарантируется: версии библиотек и особенности окружения могут дать небольшой разброс. Поэтому в журнал попадают и сообщения об ошибках, и предупреждения — они объясняют, почему результат изменился.
Упражнение: заметка к отчёту
Откройте digits_report.json из лаборатории и допишите к нему короткую заметку из четырёх пунктов: цель эксперимента, ограничения, одна гипотеза о конкретной паре перепутанных классов из test_confusion_matrix и план её проверки на отдельной подборке. Затем дайте заметку человеку, который не видел ваш запуск, и попросите по ней повторить эксперимент, не подсказывая шаги вслух.
Ожидаемый результат: у человека хватает записей, чтобы получить те же выборки и ту же выбранную модель, а по гипотезе понятно, какие примеры отбирать и что считать подтверждением. Если для повторения пришлось что-то объяснять словами — этого не хватает в журнале.