В прошлом уроке вы построили baseline и увидели, что модель должна побить простое правило. Теперь добавим к классификатору подготовку признаков — и проследим, как одна строка данных проходит через всю цепочку. Заодно разберёмся, почему порядок вызовов fit и transform важнее, чем кажется.
Зачем признаки масштабировать
В наборе цифр каждый пиксель — число от 0 до 16. Признаки уже примерно в одном диапазоне, но так бывает не всегда: в других задачах рядом могут стоять возраст (десятки) и доход (сотни тысяч). Линейный классификатор и нейросеть чувствительны к такому разбросу: признак с большими числами начинает «весить» больше только из-за единиц измерения.
StandardScaler вычитает из каждого столбца его среднее и делит на стандартное отклонение. После этого у каждого признака среднее около нуля, а разброс — около единицы. Чтобы это сделать, scaler должен посмотреть на данные и запомнить два числа на каждый столбец: среднее и масштаб.
Одна строка от пикселей до метки
Возьмём учебную строку из 64 пикселей. Что с ней происходит внутри make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000)):
- Строка попадает в scaler. Он вычитает сохранённые средние и делит на сохранённые масштабы — получается 64 новых числа.
- Эти числа уходят в логистическую регрессию. Она умножает их на свои веса, складывает и сравнивает результат с порогами для каждого класса.
- На выходе — одна метка от 0 до 9 и вероятности по классам.
Ключевой момент: средние и масштабы scaler выучил один раз на тренировочной части. При предсказании он их только применяет. Если бы он пересчитывал среднее по каждой новой строке, одна и та же цифра получала бы разное преобразование в зависимости от соседей — модель бы «плыла».
fit, transform и predict: кто что делает
| Вызов | Что делает | На каких данных допустим |
|---|---|---|
fit | Обучает шаги: scaler запоминает среднее и масштаб, классификатор — веса | Только train |
transform | Применяет уже выученное преобразование | Train, validation, test |
predict | Прогоняет данные через всю цепочку и выдаёт метки | Validation, test, новые данные |
Pipeline склеивает эти шаги так, что вы вызываете один fit на train — и он сам делает fit_transform для scaler, а затем fit для классификатора. При predict он применяет transform с уже сохранёнными числами. Ручная сборка тех же шагов работает, но легко забыть преобразовать тест — и тогда модель получает числа в другом масштабе, чем при обучении.
Разбор запуска учебной лаборатории
В файле digits_lab.py три модели обучаются на одной тренировочной части и сравниваются на валидации. Вот фрагмент, где создаётся интересующая нас модель:
models = {
'baseline': DummyClassifier(strategy='most_frequent'),
'logistic': make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000)),
'mlp': make_pipeline(StandardScaler(), MLPClassifier(
hidden_layer_sizes=(32,), max_iter=300, early_stopping=True, random_state=42)),
}
for name, model in models.items():
model.fit(X_train, y_train)
scores[name] = accuracy_score(y_valid, model.predict(X_valid))
Обратите внимание на две вещи. Во-первых, fit вызывается только на X_train — ни валидация, ни тест в обучение не попадают. Во-вторых, predict на валидации идёт через тот же объект модели, поэтому scaler применяет именно те средние и масштабы, что выучил на train.
В одном прогоне лаборатории на учебных данных получились такие оценки на валидации: baseline — 0.1028, логистическая регрессия — 0.9722, MLP — 0.9444. Выбор делается по валидации, поэтому выбранной оказалась логистическая регрессия, а её точность на тесте составила 0.9583. Это результат одного запуска с фиксированным random_state=42, а не гарантия качества на других данных.
Заметьте: MLP на валидации оказался чуть хуже линейной модели. Это нормально — более сложная модель не обязана выигрывать на маленьком наборе. Сравнение на валидации как раз и нужно, чтобы это увидеть до того, как вы тронете тест.
Что ломается, если перепутать выборки
Представьте, что scaler обучен на всех данных сразу, включая тест. Тогда среднее и разброс каждого пикселя посчитаны с участием тестовых строк. Формально ошибки нет, код работает, метрика считается — но тест перестал быть независимым: информация из него повлияла на подготовку признаков. Оценка на тесте становится оптимистичнее, чем будет на реально новых цифрах.
То же правило действует для заполнения пропусков, отбора признаков и понижения размерности: всё, что «учится» на данных, должно учиться только на train. Pipeline удобен именно тем, что делает это по умолчанию: вы вызываете fit на train, и все шаги внутри видят только train.
Упражнение: ручная цепочка против Pipeline
Соберите ту же логистическую регрессию без Pipeline — отдельно scaler и отдельно классификатор — и получите ту же точность на валидации. Ожидаемый результат: число совпадёт с logistic из отчёта лаборатории.
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_valid_scaled = scaler.transform(X_valid)
clf = LogisticRegression(max_iter=1000)
clf.fit(X_train_scaled, y_train)
print(accuracy_score(y_valid, clf.predict(X_valid_scaled)))
Если случайно написать scaler.fit_transform(X_valid) вместо transform, точность изменится — и это будет сигналом, что подготовка пересчиталась на валидации. Сравните оба варианта и объясните себе, почему правильный — только второй.
Подробнее по теме: 12. Common pitfalls and recommended practices — scikit-learn 1.9.1 documentation; Getting Started — scikit-learn 1.9.1 documentation.