Основы ИИ и нейросетей: практический курс

Что нейросеть умеет и как она учится

На примере рукописных цифр разберём, что получает нейросеть на вход, как меняются её веса и почему запрос к готовой модели — это использование, а не новое обучение.

Урок 1 из 1535 минут с практикойОбновлено

Возьмите изображение рукописной цифры размером 8 × 8 пикселей. Каждый пиксель — число от 0 до 16: чем светлее точка, тем больше значение. Всего 64 числа. Если выписать их в строку, получится вектор из 64 признаков — ровно то, что подаётся на вход небольшой нейросети в учебном наборе load_digits из scikit-learn. Дальше сеть должна ответить одним из десяти вариантов: 0, 1, 2, …, 9.

Вот здесь и проходит граница, которую полезно почувствовать до любого кода. Одни и те же 64 числа можно прогнать через сеть с уже настроенными весами — и получить ответ за доли секунды. А можно взять тысячи таких векторов с известными правильными ответами и постепенно подправить веса так, чтобы ответы стали точнее. Первое — использование модели, второе — её обучение. Внешне оба процесса выглядят как «сеть посчитала», но происходящее внутри разное.

Что именно меняется при обучении

Сеть из одного скрытого слоя устроена так: 64 входа соединены с несколькими нейронами скрытого слоя, а те — с десятью выходами, по одному на каждую цифру. У каждого соединения есть вес, у каждого нейрона — смещение. Все эти числа вместе и есть параметры модели. В документации scikit-learn они хранятся в атрибутах coefs_ (матрицы весов между слоями) и intercepts_ (векторы смещений).

Обучение — это цикл из трёх шагов, повторяемый много раз:

  1. Сеть получает вектор из 64 чисел и выдаёт вероятности для десяти цифр.
  2. Функция потерь сравнивает эти вероятности с правильной меткой. Для классификации в MLPClassifier используется перекрёстная энтропия.
  3. Алгоритм оптимизации (вариант градиентного спуска, а градиенты считаются методом обратного распространения) немного сдвигает веса и смещения в сторону меньшей ошибки.

После многих таких проходов веса фиксируются. С этого момента сеть на новых 64 числах просто выполняет прямой проход: умножает вход на веса, применяет нелинейность, складывает и выдаёт ответ. Веса при этом не меняются. Именно этот этап называют инференсом — применением уже настроенной модели к новым данным.

Один вектор — два разных события

Полезно развести два события, которые часто путают.

ОбучениеИспользование (инференс)
Что на входеМного векторов с правильными меткамиОдин или несколько новых векторов
Что происходит с весамиМеняются на каждом шагеОстаются прежними
Зачем нужноНастроить параметрыПолучить ответ на новом примере
Как проверитьСравнить ошибку до и послеСравнить ответ с известной меткой

Отсюда следует практическое правило. Когда вы пишете запрос в чат с готовой моделью, вы почти всегда попадаете в правый столбец: модель использует свои зафиксированные веса и текущий контекст. Новый запрос не переобучает её. Дообучение — отдельная процедура, и её наличие зависит от инструмента, а не от факта вашего сообщения.

Проверяемая задача вместо «умного сервиса»

Формулировка «сделать распознавание цифр» звучит понятно, но проверить её нельзя. Нужны три вещи: конкретный вход, конкретный выход и способ измерить качество.

  • Вход: вектор из 64 чисел, полученный из изображения 8 × 8.
  • Выход: одна из десяти меток.
  • Проверка: доля правильных ответов на примерах, которые сеть не видела при обучении.

Последний пункт важен. Если оценивать сеть на тех же векторах, на которых она училась, оценка будет завышенной: сеть могла запомнить конкретные примеры. Поэтому данные заранее делят на части, и итоговую проверку делают на отложенной. Как именно делить и почему тестовую часть нельзя использовать для подбора параметров, разбирается в отдельной теме про обучающую, валидационную и тестовую выборки.

Ещё одна вещь, которую стоит проговорить заранее: обученная сеть не обязана быть права на любых данных. Рукописные цифры из учебного набора аккуратно отцентрованы и оцифрованы. Фотография цифры с телефона — другой вход: там фон, наклон, тени, другой масштаб. Модель, настроенная на 64 числа из учебного набора, на такой фотографии без дополнительной подготовки будет ошибаться, и это нормальное ограничение, а не поломка.

Упражнение: разметьте один цикл

Возьмите любую бытовую задачу, где по нескольким числам нужно выбрать одну из нескольких категорий. Например, по трём признакам письма — длина темы, наличие слова «счёт», наличие слова «доставка» — выбрать метку «оплата» или «доставка».

Запишите для неё:

  1. Что подаётся на вход (сколько чисел и что каждое значит).
  2. Какие возможны метки.
  3. Один пример с известным правильным ответом.
  4. Где в этой задаче обучение, а где — использование готовой модели.

Ожидаемый результат. У вас получится короткая запись вроде: «Вход — три числа; метки — оплата/доставка; пример: (12, 0, 1) → доставка; обучение — подбор весов по размеченным письмам; использование — прогон нового письма через уже настроенные веса без их изменения». Если в пункте 4 у вас написано «модель учится, когда я пишу запрос», вернитесь к таблице выше: это разные события.

Куда двигаться дальше

Когда различие между обучением и применением стало ясным, следующий вопрос — какую модель вообще брать под задачу: классификацию, регрессию или генерацию. Об этом — в теме «Выбор модели под задачу». А когда дойдёте до практики в Python, та же идея проявится в коде: метод fit меняет веса, метод predict только использует их. В документации scikit-learn это описано прямо: после того как оценщик обучен, его можно применять для предсказаний на новых данных, и переобучать его для этого не нужно.

Подробнее по теме: Getting Started — scikit-learn 1.9.1 documentation; 1.17. Neural network models (supervised) — scikit-learn 1.9.1 documentation.