Основы ИИ и нейросетей: практический курс

Разбор ошибок и журнал экспериментов

Как собрать журнал эксперимента, разобрать ошибку по матрице путаницы до проверяемой гипотезы и не испортить тестовую оценку повторными прогонами.

Урок 12 из 1545 минут с практикойОбновлено

Через неделю после удачного запуска вы повторяете команду — и точность другая. Или модель та же, а почему она путает две цифры, непонятно. Причина обычно одна: сохранили только модель, а всё, что делало результат результатом, осталось в истории терминала. Разберём, что записывать рядом с моделью и как из ошибок делать проверяемые гипотезы.

Что должно пережить перезапуск

Модель — лишь один артефакт эксперимента. Чтобы получить тот же результат, нужны ещё версия Python и библиотек, исходные данные и способ их подготовки, схема разделения на выборки, значение random_state, параметры моделей и сами метрики. Без любого куска повторение превращается в угадывание.

Отдельно зафиксируйте версию кода. Даже если проект лежит в Git, незакоммиченная правка перед запуском рвёт связь между «тем самым» результатом и текущим состоянием файлов. Перед запуском, результат которого вы будете обсуждать, сделайте коммит или сохраните копию файла.

В учебной лаборатории отчёт собирается автоматически. Вот его структура из одного измеренного запуска на Python 3.14 и scikit-learn 1.9.1 — это не эталон для любой платформы, а конкретный прогон:

Ниже показаны несколько полей одного реального запуска. В полном digits_report.json дополнительно есть показатели каждого класса и матрица ошибок; результаты другого запуска могут отличаться.

{
  "python": "3.14.4",
  "scikit_learn": "1.9.1",
  "dataset": "sklearn.datasets.load_digits",
  "random_state": 42,
  "sizes": {
    "train": 1077,
    "validation": 360,
    "test": 360
  },
  "validation_accuracy": {
    "baseline": 0.10277777777777777,
    "logistic": 0.9722222222222222,
    "mlp": 0.9444444444444444
  },
  "selected": "logistic",
  "test_accuracy": 0.9583333333333334
}

Здесь видно главное: модель выбрана по валидации (логистическая регрессия, 0.9722), а тестовая оценка 0.9583 получена уже после выбора и служит независимой проверкой. Если бы параметры подбирались по тесту, эта цифра перестала бы что-либо доказывать.

Разбор ошибки: от «плохо» к проверяемой гипотезе

Матрица ошибок в отчёте — таблица, где по строкам истинные метки, по столбцам предсказанные. Диагональ — угаданные ответы, всё остальное — путаница. В учебном запуске на тестовой части из 360 примеров модель ошиблась 15 раз (0.9583 — это 345 верных ответов). Но общее число мало что говорит: смотреть нужно, куда именно ушли ошибки.

Фраза «сеть плохо понимает девятки» — не гипотеза, её нельзя проверить. А вот «часть девяток с незамкнутой верхней петлёй уходит в четвёрку» — уже да: можно отобрать такие примеры и посмотреть, подтверждается ли закономерность. Разница в том, что у второй формулировки есть условие отбора и ожидаемый результат.

Порядок разбора, который экономит время:

  1. Открыть test_confusion_matrix и найти самую крупную недиагональную пару классов.
  2. Выписать индексы этих примеров и посмотреть на сами изображения.
  3. Проверить разметку: не перепутана ли метка, не обрезан ли рисунок, не отличается ли пример от остальных по яркости или масштабу.
  4. Сформулировать гипотезу с условием и планом проверки на отдельной подборке.

Шаг с проверкой разметки часто пропускают, а зря. Если в данных ошибка, никакая модель её не исправит, и вы будете чинить несуществующую проблему распознавания. Исправлять тестовую разметку только потому, что модель с ней не согласна, нельзя — это подгонка. Спорные примеры разбирают по заранее записанному правилу и фиксируют, что именно и почему изменили.

Ловушка: тест, который перестал быть тестом

Вы посмотрели на ошибки тестовой выборки, поменяли архитектуру, снова прогнали тест — и получили лучше. Формально цифра выросла, но теперь вы подбирали решение, зная ответы на тесте. Такая оценка смещена в оптимистичную сторону: на действительно новых данных результат может оказаться хуже.

Документация scikit-learn формулирует это жёстко: тестовые данные не должны использоваться для выбора модели, а fit на тесте вызывать нельзя. Если после просмотра теста вы что-то изменили, старую оценку помечают как предварительную, а для итогового вывода нужна независимая проверка — новая отложенная часть данных или прогон на свежих примерах.

Тот же принцип касается подготовки признаков. Масштабирование, отбор признаков и заполнение пропусков должны обучаться только на тренировочной части, иначе информация из теста просачивается в модель. Pipeline из предыдущих уроков как раз держит эти границы: fit видит только train, а transform применяется ко всем частям одинаково.

Журнал, по которому эксперимент повторит другой человек

Хороший журнал отвечает на вопрос «как это воспроизвести», а не «что я думал в тот момент». Минимальный набор полей:

ПолеЧто записать
ЦельКакую задачу решаем и по какой метрике судим
ДанныеИсточник, размеры выборок, схема разделения, random_state
ОкружениеВерсии Python и библиотек
Модели и параметрыЧто сравнивали и с какими настройками
РезультатыВалидация по каждой модели, выбранная модель, тестовая оценка
ОграниченияНа каких данных результат не проверен

Последняя строка — не формальность. Точность 0.9583 на встроенном наборе цифр не означает, что модель так же хорошо распознает рукописные цифры с фотографии: другой масштаб, освещение, почерк. Честная запись ограничений защищает и вас, и того, кто будет читать отчёт позже.

Точное совпадение чисел на другой платформе не гарантируется: версии библиотек и особенности окружения могут дать небольшой разброс. Поэтому в журнал попадают и сообщения об ошибках, и предупреждения — они объясняют, почему результат изменился.

Упражнение: заметка к отчёту

Откройте digits_report.json из лаборатории и допишите к нему короткую заметку из четырёх пунктов: цель эксперимента, ограничения, одна гипотеза о конкретной паре перепутанных классов из test_confusion_matrix и план её проверки на отдельной подборке. Затем дайте заметку человеку, который не видел ваш запуск, и попросите по ней повторить эксперимент, не подсказывая шаги вслух.

Ожидаемый результат: у человека хватает записей, чтобы получить те же выборки и ту же выбранную модель, а по гипотезе понятно, какие примеры отбирать и что считать подтверждением. Если для повторения пришлось что-то объяснять словами — этого не хватает в журнале.

Источники