Финальный проект в этом курсе — не соревнование за красивую цифру. Это проверка того, что вы умеете пройти путь от постановки задачи до вывода, которому можно доверять и который другой человек способен повторить. Ниже два маршрута на выбор, образец отчёта и вопросы, которые стоит задать своему результату до того, как назвать его готовым.
Два маршрута: цифры или ответы по источнику
Первый маршрут — распознавание рукописных цифр на встроенном наборе scikit-learn. Он опирается на общую лабораторию курса: файл digits_lab.py и requirements.txt. Здесь всё измеримо: доля верных меток, матрица ошибок, разбор конкретных промахов.
Второй маршрут — ответы по небольшому набору вымышленных учебных инструкций. Модель получает текст источника и вопрос, а вы вручную проверяете ответ. Метрики другие: сколько фактов совпало с источником, всё ли нужное попало в ответ, нет ли деталей, которых в источнике не было. Смешивать эти две шкалы нельзя — у них разная природа ошибки.
Выбирайте тот маршрут, где вы честно сможете довести дело до конца. Оба засчитываются одинаково.
Что зафиксировать до первого запуска
Пока вы не увидели результат, легко подогнать критерий под то, что получилось. Поэтому цель, данные, baseline и порог успеха записываются заранее, до обучения.
- Цель. Одно предложение: что модель должна предсказывать или какой вопрос закрывать.
- Данные. Откуда взяты, сколько примеров, что означает одна строка.
- Baseline. Для цифр —
DummyClassifier(strategy='most_frequent'): он всегда называет самый частый класс. Для текстового маршрута — поиск точного фрагмента и шаблонный ответ без модели. - Критерий успеха. Например: «выбранная модель должна обойти baseline на валидации не меньше чем на 0,5».
- Разделение. Рабочая часть делится на обучение и валидацию, тест откладывается и не трогается до финального замера.
Для текстового маршрута заранее соберите десять проверочных вопросов: обычные, неполные и такие, ответа на которые в источнике нет. Последняя категория важнее, чем кажется: хороший ответ здесь — «в источнике этого нет», а не правдоподобная выдумка.
Фрагмент отчёта, который можно повторить
Отчёт — это не рассказ «модель работает хорошо», а набор фактов, по которым другой человек воспроизведёт ваш результат. Ниже учебный пример для маршрута с цифрами. Числа взяты из одного запуска общей лаборатории на Python 3.14 и scikit-learn 1.9.1; у вас они могут отличаться.
| Пункт | Что записать | Пример |
|---|---|---|
| Задача | Что предсказываем и по каким признакам | Класс цифры 0–9 по 64 пикселям изображения 8×8 |
| Данные | Источник и размеры | load_digits, 1797 примеров; обучение 1077, валидация 360, тест 360 |
| Baseline | Метод и его результат на валидации | DummyClassifier: accuracy 0,1028 |
| Кандидаты | Что сравнивали и с каким результатом | Логистическая регрессия 0,9722; MLP 0,9444 |
| Выбор | Правило выбора и победитель | Максимум на валидации — логистическая регрессия |
| Финальный замер | Оценка на нетронутом тесте | accuracy 0,9583 |
| Ограничения | Где метод применять нельзя | Только чистые изображения 8×8; на фото и других шрифтах не проверялся |
Обратите внимание на две вещи. Baseline здесь не формальность: 0,1028 — это уровень «всегда отвечаю самой частой цифрой», и без него непонятно, много ли даёт обучение. И тестовая оценка ниже валидационной — это нормально, а не повод переобучать модель под тест.
К отчёту приложите два разобранных примера ошибок. Не «модель путается», а конкретно: какая цифра принята за какую и что в пикселях могло этому способствовать. Ошибка, описанная точно, превращается в проверяемую гипотезу для следующего шага.
Как не испортить финальную проверку
Самая частая ловушка итогового проекта — тест, который перестал быть тестом. Достаточно один раз посмотреть на тестовую оценку, поменять параметр и посмотреть снова, чтобы она превратилась в ещё одну валидацию. После этого честной оценки у вас нет.
Держите правило: все решения о модели принимаются по валидации, тест вызывается один раз, в самом конце, и его результат записывается как есть. Если после финального замера захотелось что-то улучшить — это уже следующий проект, с новым отложенным набором.
Вторая ловушка — подготовка признаков на всех данных до разделения. Масштабирование и заполнение пропусков должны учиться только на обучающей части, иначе информация из проверочных примеров просачивается в модель. В лабораторном файле это решено через make_pipeline: преобразование и классификатор обучаются вместе и применяются к новым данным одинаково.
Вопросы к защите решения
Прежде чем сдавать проект, ответьте себе на пять вопросов. Если ответ получается расплывчатым, значит, в отчёте чего-то не хватает.
- На скольких примерах получена финальная оценка и что означает одна ошибка в этих единицах?
- Какой baseline вы обошли и насколько?
- Какие решения принимались по валидации, а что осталось нетронутым до теста?
- Какую ошибку модель делает чаще всего и что вы о ней знаете?
- Где ваш результат применять нельзя?
Последний вопрос — не формальность. Умение назвать границу применимости показывает, что вы понимаете свой результат, а не просто получили число.
Упражнение: план следующего эксперимента
Возьмите свой готовый проект и сформулируйте одно улучшение — ровно одно. Запишите его так, чтобы результат можно было проверить независимо:
- гипотеза: что именно и почему должно улучшиться;
- что меняем: один параметр или один шаг обработки;
- на чём проверяем: валидация, тест не трогаем;
- как поймём, что помогло: сравнение с текущим результатом на валидации.
Ожидаемый результат: у вас есть заполненный план из четырёх пунктов и текущая валидационная оценка, с которой будет сравниваться новый запуск. Если после запуска оценка не выросла — это тоже результат: гипотеза не подтвердилась, и вы знаете об этом по данным, а не по ощущению.