Возьмите изображение рукописной цифры размером 8 × 8 пикселей. Каждый пиксель — число от 0 до 16: чем светлее точка, тем больше значение. Всего 64 числа. Если выписать их в строку, получится вектор из 64 признаков — ровно то, что подаётся на вход небольшой нейросети в учебном наборе load_digits из scikit-learn. Дальше сеть должна ответить одним из десяти вариантов: 0, 1, 2, …, 9.
Вот здесь и проходит граница, которую полезно почувствовать до любого кода. Одни и те же 64 числа можно прогнать через сеть с уже настроенными весами — и получить ответ за доли секунды. А можно взять тысячи таких векторов с известными правильными ответами и постепенно подправить веса так, чтобы ответы стали точнее. Первое — использование модели, второе — её обучение. Внешне оба процесса выглядят как «сеть посчитала», но происходящее внутри разное.
Что именно меняется при обучении
Сеть из одного скрытого слоя устроена так: 64 входа соединены с несколькими нейронами скрытого слоя, а те — с десятью выходами, по одному на каждую цифру. У каждого соединения есть вес, у каждого нейрона — смещение. Все эти числа вместе и есть параметры модели. В документации scikit-learn они хранятся в атрибутах coefs_ (матрицы весов между слоями) и intercepts_ (векторы смещений).
Обучение — это цикл из трёх шагов, повторяемый много раз:
- Сеть получает вектор из 64 чисел и выдаёт вероятности для десяти цифр.
- Функция потерь сравнивает эти вероятности с правильной меткой. Для классификации в
MLPClassifierиспользуется перекрёстная энтропия. - Алгоритм оптимизации (вариант градиентного спуска, а градиенты считаются методом обратного распространения) немного сдвигает веса и смещения в сторону меньшей ошибки.
После многих таких проходов веса фиксируются. С этого момента сеть на новых 64 числах просто выполняет прямой проход: умножает вход на веса, применяет нелинейность, складывает и выдаёт ответ. Веса при этом не меняются. Именно этот этап называют инференсом — применением уже настроенной модели к новым данным.
Один вектор — два разных события
Полезно развести два события, которые часто путают.
| Обучение | Использование (инференс) | |
|---|---|---|
| Что на входе | Много векторов с правильными метками | Один или несколько новых векторов |
| Что происходит с весами | Меняются на каждом шаге | Остаются прежними |
| Зачем нужно | Настроить параметры | Получить ответ на новом примере |
| Как проверить | Сравнить ошибку до и после | Сравнить ответ с известной меткой |
Отсюда следует практическое правило. Когда вы пишете запрос в чат с готовой моделью, вы почти всегда попадаете в правый столбец: модель использует свои зафиксированные веса и текущий контекст. Новый запрос не переобучает её. Дообучение — отдельная процедура, и её наличие зависит от инструмента, а не от факта вашего сообщения.
Проверяемая задача вместо «умного сервиса»
Формулировка «сделать распознавание цифр» звучит понятно, но проверить её нельзя. Нужны три вещи: конкретный вход, конкретный выход и способ измерить качество.
- Вход: вектор из 64 чисел, полученный из изображения 8 × 8.
- Выход: одна из десяти меток.
- Проверка: доля правильных ответов на примерах, которые сеть не видела при обучении.
Последний пункт важен. Если оценивать сеть на тех же векторах, на которых она училась, оценка будет завышенной: сеть могла запомнить конкретные примеры. Поэтому данные заранее делят на части, и итоговую проверку делают на отложенной. Как именно делить и почему тестовую часть нельзя использовать для подбора параметров, разбирается в отдельной теме про обучающую, валидационную и тестовую выборки.
Ещё одна вещь, которую стоит проговорить заранее: обученная сеть не обязана быть права на любых данных. Рукописные цифры из учебного набора аккуратно отцентрованы и оцифрованы. Фотография цифры с телефона — другой вход: там фон, наклон, тени, другой масштаб. Модель, настроенная на 64 числа из учебного набора, на такой фотографии без дополнительной подготовки будет ошибаться, и это нормальное ограничение, а не поломка.
Упражнение: разметьте один цикл
Возьмите любую бытовую задачу, где по нескольким числам нужно выбрать одну из нескольких категорий. Например, по трём признакам письма — длина темы, наличие слова «счёт», наличие слова «доставка» — выбрать метку «оплата» или «доставка».
Запишите для неё:
- Что подаётся на вход (сколько чисел и что каждое значит).
- Какие возможны метки.
- Один пример с известным правильным ответом.
- Где в этой задаче обучение, а где — использование готовой модели.
Ожидаемый результат. У вас получится короткая запись вроде: «Вход — три числа; метки — оплата/доставка; пример: (12, 0, 1) → доставка; обучение — подбор весов по размеченным письмам; использование — прогон нового письма через уже настроенные веса без их изменения». Если в пункте 4 у вас написано «модель учится, когда я пишу запрос», вернитесь к таблице выше: это разные события.
Куда двигаться дальше
Когда различие между обучением и применением стало ясным, следующий вопрос — какую модель вообще брать под задачу: классификацию, регрессию или генерацию. Об этом — в теме «Выбор модели под задачу». А когда дойдёте до практики в Python, та же идея проявится в коде: метод fit меняет веса, метод predict только использует их. В документации scikit-learn это описано прямо: после того как оценщик обучен, его можно применять для предсказаний на новых данных, и переобучать его для этого не нужно.
Подробнее по теме: Getting Started — scikit-learn 1.9.1 documentation; 1.17. Neural network models (supervised) — scikit-learn 1.9.1 documentation.