Основы ИИ и нейросетей: практический курс

Признаки, метки и качество данных

Как из таблицы получается матрица признаков и вектор меток: разбираем форму данных на load_digits и ловушку с признаком, известным только после события.

Урок 5 из 1545 минут с практикойОбновлено

Модель не видит таблицу так, как её видит человек. Ей достаётся прямоугольник чисел и отдельный список ответов. Если перепутать, где строки, а где столбцы, или случайно положить в столбцы подсказку из будущего, обучение пойдёт, а пользы не будет. Разберём это на маленьком наборе, который уже лежит внутри scikit-learn.

Строки — объекты, столбцы — признаки

В supervised-обучении данные делят на две части. Матрица X имеет размер (n_samples, n_features): каждая строка — один объект, каждый столбец — один измеримый признак. Вектор y — одномерный массив длины n_samples, где i-й элемент отвечает за i-ю строку X. Так это описано в документации scikit-learn по началу работы.

Отсюда простое правило проверки: число строк в X и длина y совпадают. Если не совпадают — объекты и ответы разъехались, и никакой алгоритм этого не исправит.

64 пикселя как 64 признака

В наборе load_digits каждая рукописная цифра хранится как изображение 8 × 8. Пиксели вытянуты в строку, и получается вектор из 64 чисел; значения — яркости. Метка — цифра от 0 до 9, то есть одна из десяти категорий.

Загрузим данные и посмотрим на форму. Код ниже использует только встроенный набор, скачивать ничего не нужно:

from sklearn.datasets import load_digits

X, y = load_digits(return_X_y=True)
print(X.shape)
print(y.shape)
print(sorted(set(y.tolist())))

Ожидаемый результат:

(1797, 64)
(1797,)
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

Читается так: 1797 объектов, у каждого 64 признака, и 1797 меток. Не 64 объекта и не 1797 классов. Классов ровно десять — это видно по третьей строке вывода.

Полезно заглянуть в одну строку целиком: print(X[0]) покажет 64 числа, а print(y[0]) — ответ для этого же объекта. Так становится видно, что модель получает на входе и что от неё ждут на выходе.

Признак, который знает ответ заранее

С пикселями всё честно: яркость точки известна в момент, когда мы показываем картинку. С таблицами из реальной работы так бывает не всегда.

Возьмём учебную таблицу обращений в поддержку — данные вымышленные, только для разбора:

idканалтекст_краткостатусдней_до_закрытия
1чатне пришёл заказзакрыто с возвратом6
2почтакак сменить адресзакрыто без возврата1
3чатсломан товарзакрыто с возвратом9

Задача — предсказать, закончится ли обращение возвратом. Столбец статус содержит ответ в готовом виде, его в признаки брать нельзя. Но и дней_до_закрытия не годится: это число известно только после того, как обращение закрыли, а предсказывать нужно раньше. Такой признак — утечка: он приносит информацию из будущего и завышает оценку качества.

Проверочный вопрос к каждому столбцу один: будет ли это значение известно в тот момент, когда модель делает предсказание? Если нет — столбец уходит из X. В нашем примере честными остаются канал и текст_кратко, причём текст ещё придётся превратить в числа.

Утечка бывает и без столбца с говорящим названием. Если среднее или масштаб считают по всем данным, включая будущую проверку, часть информации о проверке просачивается в обучение. Раздел о типичных ошибках называет это отдельным видом утечки и советует сначала делить данные, а потом преобразовывать. Подробнее о разделении — в уроке про обучающую, валидационную и тестовую выборки.

Что ещё проверить до обучения

  • Пропуски. Пустая ячейка ломает обучение. Решите, удалять строку или заполнять значение, и зафиксируйте причину.
  • Диапазоны. Яркость пикселя лежит в известных пределах; в таблице обращений «дней до закрытия» не может быть отрицательным.
  • Повторы. Один и тот же объект в обучении и в проверке даёт завышенную оценку.
  • Смысл чисел. Идентификатор пользователя — число, но складывать два id бессмысленно; такой столбец скорее категория.

Набор load_digits удобен именно тем, что эти проверки он проходит почти сразу: пропусков нет, значения ограничены, объекты различны. Поэтому на нём хорошо отрабатывать форму данных, но нельзя делать вывод о распознавании произвольных фотографий — 8 × 8 пикселей это очень мало.

Упражнение: паспорт таблицы

Запустите код из раздела про 64 пикселя и дополните его двумя строками:

print(X.min(), X.max())
print(len(set(y)))

Ожидаемый результат: минимальное значение 0, максимальное 16, число классов 10. Запишите для себя три числа — 1797, 64, 10 — и подпишите каждое: объектов, признаков, классов. Затем возьмите учебную таблицу обращений и вычеркните столбцы, которые станут известны только после закрытия. Если после вычёркивания остался хотя бы один признак, пригодный для предсказания, вы справились с главной частью урока.