Основы ИИ и нейросетей: практический курс

Многослойный перцептрон на цифрах

Как устроен MLPClassifier на цифрах: вход, скрытый слой, выход, ранняя остановка и честное сравнение с логистической регрессией по валидации.

Урок 9 из 1560 минут с практикойОбновлено

В прошлом уроке в общем Pipeline обучались три модели, и на валидации лучшей оказалась логистическая регрессия. Нейросеть проиграла ей — и это нормальный, полезный результат. Разберём, что именно представляет собой MLPClassifier(hidden_layer_sizes=(32,), max_iter=300, early_stopping=True, random_state=42) из лабораторного файла, откуда берутся 64 входа и 10 выходов и почему «нейросеть» здесь не синоним «лучше».

Что означают 64, 32 и 10

Каждая цифра в наборе — изображение 8 × 8 пикселей. Пиксели вытянуты в строку из 64 чисел, и это входной слой: ровно столько значений получает сеть на один объект. Дальше идёт один скрытый слой из 32 нейронов. Каждый такой нейрон берёт все 64 входа, умножает их на свои веса, складывает, прибавляет смещение и пропускает результат через нелинейную функцию (по умолчанию ReLU: отрицательное становится нулём, положительное остаётся как есть). Выходной слой выдаёт 10 чисел — по одному на класс 0–9; через softmax они превращаются в оценки вероятностей.

Запись (32,) — это кортеж из одного элемента, то есть один скрытый слой на 32 нейрона, а не 32 слоя. Если написать (64, 32), слоёв станет два. Число весов между входом и скрытым слоем — 64 × 32 = 2048, плюс 32 смещения; между скрытым и выходным — 32 × 10 = 320 плюс 10 смещений. После обучения эти матрицы лежат в атрибуте coefs_, а векторы смещений — в intercepts_.

Зачем max_iter и early_stopping вместе

max_iter=300 — верхняя граница: сеть делает не больше 300 проходов по обучающим данным (эпох) и останавливается раньше, если улучшение прекратилось. early_stopping=True заставляет scikit-learn отрезать от переданных тренировочных данных небольшую внутреннюю часть (по умолчанию 10%) и следить за качеством на ней. Если за n_iter_no_change эпох (по умолчанию 10) результат там не растёт хотя бы на tol, обучение прекращается.

Важно, что эта внутренняя проверка — не наша валидационная выборка. Она вырезается из X_train, поэтому внешняя валидация остаётся нетронутой и годится для сравнения моделей. И ещё одно свойство MLP: функция потерь у неё невыпуклая, локальных минимумов несколько, поэтому разные стартовые веса дают разную точность. random_state=42 фиксирует инициализацию весов и разбиение для ранней остановки, чтобы запуск повторялся.

Один запуск: что показала сеть

В лабораторном прогоне данные делились на 1077 обучающих, 360 валидационных и 360 тестовых объектов. Масштабирование (StandardScaler) стоит в том же Pipeline перед классификатором, поэтому средние и разброс считаются только по обучающей части — иначе тест «подсмотрел» бы в подготовку признаков. Результаты на валидации:

МодельВалидационная accuracy
baseline (самый частый класс)0.1028
логистическая регрессия0.9722
MLP (32 нейрона)0.9444

Выбор по валидации дал логистическую регрессию, и только её проверили на тесте: 0.9583. Сеть на этом прогоне отстала примерно на три процентных пункта. Причины правдоподобны, но это гипотезы, а не доказательства: 1077 объектов для сети мало, скрытый слой мог быть слишком узким или, наоборот, сеть чуть переобучилась, а ранняя остановка сработала рано. Проверять каждую догадку нужно отдельным запуском.

Как сравнить 16 нейронов с 32, не испортив тест

Скопируйте digits_lab.py в новый файл, например digits_lab_16.py, и измените одну строку:

'mlp': make_pipeline(StandardScaler(), MLPClassifier(
    hidden_layer_sizes=(16,), max_iter=300, early_stopping=True, random_state=42)),

В экспериментальной копии удалите финальный блок с тестовой оценкой — всё, что идёт после выбора selected, включая predict(X_test) и запись отчёта. Сравнивайте варианты только по строке mlp: validation accuracy = .... Тестовая часть уже один раз использовалась в основном прогоне; второй её просмотр превращает её в настройку, и итоговая оценка перестаёт быть честной.

Один запуск с одним random_state ничего не доказывает: разница в доли процента может быть шумом инициализации. Чтобы увидеть разброс, прогоните ту же конфигурацию с несколькими значениями random_state (например, 0, 1, 2), не меняя разделение данных, и запишите, насколько отличается валидационная точность. Если диапазоны значений у 16 и 32 нейронов перекрываются, говорить о превосходстве одного варианта рано.

Упражнение: разброс по трём инициализациям

Возьмите экспериментальную копию без тестового блока и запустите её трижды, меняя только random_state у MLPClassifier на 0, 1 и 2. Выпишите три значения mlp: validation accuracy и посчитайте размах — разницу между максимумом и минимумом. Ожидаемый результат: три числа около 0.94, но не обязательно одинаковые; размах в несколько десятых доли процента — обычное дело для такой маленькой сети. Если размах окажется заметно больше разницы между вариантами с 16 и 32 нейронами, вывод «32 лучше 16» по одному запуску был бы необоснованным.

Источники