Модель не видит таблицу так, как её видит человек. Ей достаётся прямоугольник чисел и отдельный список ответов. Если перепутать, где строки, а где столбцы, или случайно положить в столбцы подсказку из будущего, обучение пойдёт, а пользы не будет. Разберём это на маленьком наборе, который уже лежит внутри scikit-learn.
Строки — объекты, столбцы — признаки
В supervised-обучении данные делят на две части. Матрица X имеет размер (n_samples, n_features): каждая строка — один объект, каждый столбец — один измеримый признак. Вектор y — одномерный массив длины n_samples, где i-й элемент отвечает за i-ю строку X. Так это описано в документации scikit-learn по началу работы.
Отсюда простое правило проверки: число строк в X и длина y совпадают. Если не совпадают — объекты и ответы разъехались, и никакой алгоритм этого не исправит.
64 пикселя как 64 признака
В наборе load_digits каждая рукописная цифра хранится как изображение 8 × 8. Пиксели вытянуты в строку, и получается вектор из 64 чисел; значения — яркости. Метка — цифра от 0 до 9, то есть одна из десяти категорий.
Загрузим данные и посмотрим на форму. Код ниже использует только встроенный набор, скачивать ничего не нужно:
from sklearn.datasets import load_digits
X, y = load_digits(return_X_y=True)
print(X.shape)
print(y.shape)
print(sorted(set(y.tolist())))
Ожидаемый результат:
(1797, 64)
(1797,)
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
Читается так: 1797 объектов, у каждого 64 признака, и 1797 меток. Не 64 объекта и не 1797 классов. Классов ровно десять — это видно по третьей строке вывода.
Полезно заглянуть в одну строку целиком: print(X[0]) покажет 64 числа, а print(y[0]) — ответ для этого же объекта. Так становится видно, что модель получает на входе и что от неё ждут на выходе.
Признак, который знает ответ заранее
С пикселями всё честно: яркость точки известна в момент, когда мы показываем картинку. С таблицами из реальной работы так бывает не всегда.
Возьмём учебную таблицу обращений в поддержку — данные вымышленные, только для разбора:
| id | канал | текст_кратко | статус | дней_до_закрытия |
|---|---|---|---|---|
| 1 | чат | не пришёл заказ | закрыто с возвратом | 6 |
| 2 | почта | как сменить адрес | закрыто без возврата | 1 |
| 3 | чат | сломан товар | закрыто с возвратом | 9 |
Задача — предсказать, закончится ли обращение возвратом. Столбец статус содержит ответ в готовом виде, его в признаки брать нельзя. Но и дней_до_закрытия не годится: это число известно только после того, как обращение закрыли, а предсказывать нужно раньше. Такой признак — утечка: он приносит информацию из будущего и завышает оценку качества.
Проверочный вопрос к каждому столбцу один: будет ли это значение известно в тот момент, когда модель делает предсказание? Если нет — столбец уходит из X. В нашем примере честными остаются канал и текст_кратко, причём текст ещё придётся превратить в числа.
Утечка бывает и без столбца с говорящим названием. Если среднее или масштаб считают по всем данным, включая будущую проверку, часть информации о проверке просачивается в обучение. Раздел о типичных ошибках называет это отдельным видом утечки и советует сначала делить данные, а потом преобразовывать. Подробнее о разделении — в уроке про обучающую, валидационную и тестовую выборки.
Что ещё проверить до обучения
- Пропуски. Пустая ячейка ломает обучение. Решите, удалять строку или заполнять значение, и зафиксируйте причину.
- Диапазоны. Яркость пикселя лежит в известных пределах; в таблице обращений «дней до закрытия» не может быть отрицательным.
- Повторы. Один и тот же объект в обучении и в проверке даёт завышенную оценку.
- Смысл чисел. Идентификатор пользователя — число, но складывать два id бессмысленно; такой столбец скорее категория.
Набор load_digits удобен именно тем, что эти проверки он проходит почти сразу: пропусков нет, значения ограничены, объекты различны. Поэтому на нём хорошо отрабатывать форму данных, но нельзя делать вывод о распознавании произвольных фотографий — 8 × 8 пикселей это очень мало.
Упражнение: паспорт таблицы
Запустите код из раздела про 64 пикселя и дополните его двумя строками:
print(X.min(), X.max())
print(len(set(y)))
Ожидаемый результат: минимальное значение 0, максимальное 16, число классов 10. Запишите для себя три числа — 1797, 64, 10 — и подпишите каждое: объектов, признаков, классов. Затем возьмите учебную таблицу обращений и вычеркните столбцы, которые станут известны только после закрытия. Если после вычёркивания остался хотя бы один признак, пригодный для предсказания, вы справились с главной частью урока.