Основы ИИ и нейросетей: практический курс

Метрики и матрица ошибок

Считаем precision и recall по учебным срочным письмам и читаем матрицу ошибок: где модель путает цифры и почему accuracy этого не показывает.

Урок 10 из 1545 минут с практикойОбновлено

Модель для сортировки писем пометила десять сообщений как срочные. Восемь из них действительно срочные, два — обычные. Хорошо это или плохо? Пока непонятно: мы видим только одну сторону работы. Сколько срочных писем модель пропустила, из этой фразы не следует. Разберём, как считать обе стороны и как увидеть их на матрице ошибок.

Четыре исхода одного предсказания

В бинарной классификации есть целевой класс, который мы ищем. Назовём его положительным. Для сортировки писем положительный класс — «срочное». Каждое предсказание попадает в одну из четырёх клеток:

  • TP (true positive) — письмо срочное, и модель сказала «срочное».
  • FP (false positive) — письмо обычное, а модель сказала «срочное». Ложная тревога.
  • FN (false negative) — письмо срочное, а модель сказала «обычное». Пропуск.
  • TN (true negative) — письмо обычное, и модель сказала «обычное».

Accuracy считает долю всех верных ответов: (TP + TN) / (TP + FP + FN + TN). Она смешивает четыре разные ситуации в одно число. Если срочных писем мало, модель может почти всегда отвечать «обычное» и получить высокую accuracy, не найдя ни одного срочного письма. Поэтому для редкого класса смотрят отдельно на его предсказания и на его пропуски.

Precision и recall на срочных письмах

Возьмём учебные числа. Всего в наборе 20 срочных писем и 180 обычных. Модель пометила срочными 10 писем, из них 8 действительно срочные. Значит, TP = 8, FP = 2. Остальные срочные письма модель не нашла: 20 − 8 = 12, это FN. Обычных писем, верно оставленных обычными, 178, это TN.

Precision отвечает на вопрос «если модель сказала „срочное“, насколько можно верить?»:

precision = TP / (TP + FP) = 8 / (8 + 2) = 0,80

Recall отвечает на вопрос «какую долю настоящих срочных писем модель нашла?»:

recall = TP / (TP + FN) = 8 / (8 + 12) = 0,40

Accuracy на этих же числах: (8 + 178) / 200 = 0,93. Девяносто три процента выглядят отлично, но 12 срочных писем из 20 остались без метки. Одно число скрывает это, два числа — показывают.

F1 объединяет precision и recall гармоническим средним:

F1 = 2 * precision * recall / (precision + recall)
   = 2 * 0,80 * 0,40 / (0,80 + 0,40) ≈ 0,53

Гармоническое среднее проседает, когда одна из величин мала, — в отличие от обычного среднего, которое дало бы 0,60 и сгладило провал по recall.

Матрица ошибок: где именно путается модель

Precision и recall описывают один класс. Матрица ошибок показывает всю картину сразу. В scikit-learn функция confusion_matrix возвращает таблицу, где строки — истинные метки, а столбцы — предсказанные. Диагональ — верные ответы, всё вне диагонали — ошибки.

Для писем матрица выглядит так:

предсказано «срочное»предсказано «обычное»
на самом деле срочное812
на самом деле обычное2178

Читаем по строкам. В первой строке 20 настоящих срочных писем: 8 попали в «срочное», 12 ушли в «обычное». Во второй строке 180 обычных: 2 ошибочно помечены срочными, 178 остались на месте. При такой ориентации матрицы precision для класса «срочное» — диагональ, делённая на сумму столбца: 8 / (8 + 2) = 0,80. Recall — диагональ, делённая на сумму строки: 8 / (8 + 12) = 0,40. Это те же значения, что получились при расчёте через TP, FP и FN.

Матрица на десяти цифрах

В лаборатории этого курса обучаются три модели на наборе рукописных цифр 8 × 8 пикселей. По валидации выбрана логистическая регрессия, её accuracy на тестовой части в одном учебном запуске — 0,9583 при 360 объектах. Это результат конкретного запуска, а не гарантия качества; при другом random_state число изменится.

В отчёте digits_report.json лежат test_classification_report и test_confusion_matrix. Матрица здесь 10 × 10: строки — настоящая цифра, столбцы — предсказанная. Если в строке «3» стоит заметное число в столбце «8», модель путает тройку с восьмёркой. Это уже конкретная гипотеза, а не общее «модель ошибается»: например, у этих изображений похожи петли, и стоит посмотреть на такие объекты глазами.

В classification_report для каждого класса есть precision, recall и f1-score, а внизу — macro avg и weighted avg. Macro усредняет по классам с равным весом, поэтому редкий класс влияет на итог так же, как частый. Weighted учитывает количество объектов класса и может сгладить плохой результат на редком классе. Если классы примерно равны, различия невелики; при дисбалансе выбирайте осознанно.

Какую метрику выбирать

Выбор метрики — это выбор того, какую ошибку вы готовы терпеть чаще. Пропущенное срочное письмо и лишняя пометка «срочное» стоят по-разному: в первом случае оператор узнаёт о проблеме позже, во втором — тратит время на обычное сообщение. Если пропуск дороже, смотрите в первую очередь на recall; если дороже ложные тревоги — на precision. F1 удобен, когда явного перевеса нет.

Не выбирайте метрику потому, что она выше. И сохраняйте рядом с итоговой оценкой число объектов и матрицу ошибок: на небольшой тестовой части одна ошибка сдвигает показатель заметно, и без контекста цифра вводит в заблуждение.

Упражнение: разбор своей матрицы

Откройте digits_report.json после запуска лаборатории. Найдите класс с наименьшим recall. Посмотрите в матрице, в какие столбцы уходят его объекты, и запишите одну проверяемую гипотезу о причине. Затем вернитесь к письмам: если бы модель пометила срочными 15 писем, из которых 9 настоящих, какими стали бы precision и recall при тех же 20 срочных письмах в наборе?

Ожидаемый ответ: TP = 9, FP = 6, precision = 9 / 15 = 0,60; FN = 20 − 9 = 11, recall = 9 / 20 = 0,45. Модель нашла больше срочных писем, но доля верных тревог упала — типичный обмен одного показателя на другой.

Источники