Модель для сортировки писем пометила десять сообщений как срочные. Восемь из них действительно срочные, два — обычные. Хорошо это или плохо? Пока непонятно: мы видим только одну сторону работы. Сколько срочных писем модель пропустила, из этой фразы не следует. Разберём, как считать обе стороны и как увидеть их на матрице ошибок.
Четыре исхода одного предсказания
В бинарной классификации есть целевой класс, который мы ищем. Назовём его положительным. Для сортировки писем положительный класс — «срочное». Каждое предсказание попадает в одну из четырёх клеток:
- TP (true positive) — письмо срочное, и модель сказала «срочное».
- FP (false positive) — письмо обычное, а модель сказала «срочное». Ложная тревога.
- FN (false negative) — письмо срочное, а модель сказала «обычное». Пропуск.
- TN (true negative) — письмо обычное, и модель сказала «обычное».
Accuracy считает долю всех верных ответов: (TP + TN) / (TP + FP + FN + TN). Она смешивает четыре разные ситуации в одно число. Если срочных писем мало, модель может почти всегда отвечать «обычное» и получить высокую accuracy, не найдя ни одного срочного письма. Поэтому для редкого класса смотрят отдельно на его предсказания и на его пропуски.
Precision и recall на срочных письмах
Возьмём учебные числа. Всего в наборе 20 срочных писем и 180 обычных. Модель пометила срочными 10 писем, из них 8 действительно срочные. Значит, TP = 8, FP = 2. Остальные срочные письма модель не нашла: 20 − 8 = 12, это FN. Обычных писем, верно оставленных обычными, 178, это TN.
Precision отвечает на вопрос «если модель сказала „срочное“, насколько можно верить?»:
precision = TP / (TP + FP) = 8 / (8 + 2) = 0,80
Recall отвечает на вопрос «какую долю настоящих срочных писем модель нашла?»:
recall = TP / (TP + FN) = 8 / (8 + 12) = 0,40
Accuracy на этих же числах: (8 + 178) / 200 = 0,93. Девяносто три процента выглядят отлично, но 12 срочных писем из 20 остались без метки. Одно число скрывает это, два числа — показывают.
F1 объединяет precision и recall гармоническим средним:
F1 = 2 * precision * recall / (precision + recall)
= 2 * 0,80 * 0,40 / (0,80 + 0,40) ≈ 0,53
Гармоническое среднее проседает, когда одна из величин мала, — в отличие от обычного среднего, которое дало бы 0,60 и сгладило провал по recall.
Матрица ошибок: где именно путается модель
Precision и recall описывают один класс. Матрица ошибок показывает всю картину сразу. В scikit-learn функция confusion_matrix возвращает таблицу, где строки — истинные метки, а столбцы — предсказанные. Диагональ — верные ответы, всё вне диагонали — ошибки.
Для писем матрица выглядит так:
| предсказано «срочное» | предсказано «обычное» | |
|---|---|---|
| на самом деле срочное | 8 | 12 |
| на самом деле обычное | 2 | 178 |
Читаем по строкам. В первой строке 20 настоящих срочных писем: 8 попали в «срочное», 12 ушли в «обычное». Во второй строке 180 обычных: 2 ошибочно помечены срочными, 178 остались на месте. При такой ориентации матрицы precision для класса «срочное» — диагональ, делённая на сумму столбца: 8 / (8 + 2) = 0,80. Recall — диагональ, делённая на сумму строки: 8 / (8 + 12) = 0,40. Это те же значения, что получились при расчёте через TP, FP и FN.
Матрица на десяти цифрах
В лаборатории этого курса обучаются три модели на наборе рукописных цифр 8 × 8 пикселей. По валидации выбрана логистическая регрессия, её accuracy на тестовой части в одном учебном запуске — 0,9583 при 360 объектах. Это результат конкретного запуска, а не гарантия качества; при другом random_state число изменится.
В отчёте digits_report.json лежат test_classification_report и test_confusion_matrix. Матрица здесь 10 × 10: строки — настоящая цифра, столбцы — предсказанная. Если в строке «3» стоит заметное число в столбце «8», модель путает тройку с восьмёркой. Это уже конкретная гипотеза, а не общее «модель ошибается»: например, у этих изображений похожи петли, и стоит посмотреть на такие объекты глазами.
В classification_report для каждого класса есть precision, recall и f1-score, а внизу — macro avg и weighted avg. Macro усредняет по классам с равным весом, поэтому редкий класс влияет на итог так же, как частый. Weighted учитывает количество объектов класса и может сгладить плохой результат на редком классе. Если классы примерно равны, различия невелики; при дисбалансе выбирайте осознанно.
Какую метрику выбирать
Выбор метрики — это выбор того, какую ошибку вы готовы терпеть чаще. Пропущенное срочное письмо и лишняя пометка «срочное» стоят по-разному: в первом случае оператор узнаёт о проблеме позже, во втором — тратит время на обычное сообщение. Если пропуск дороже, смотрите в первую очередь на recall; если дороже ложные тревоги — на precision. F1 удобен, когда явного перевеса нет.
Не выбирайте метрику потому, что она выше. И сохраняйте рядом с итоговой оценкой число объектов и матрицу ошибок: на небольшой тестовой части одна ошибка сдвигает показатель заметно, и без контекста цифра вводит в заблуждение.
Упражнение: разбор своей матрицы
Откройте digits_report.json после запуска лаборатории. Найдите класс с наименьшим recall. Посмотрите в матрице, в какие столбцы уходят его объекты, и запишите одну проверяемую гипотезу о причине. Затем вернитесь к письмам: если бы модель пометила срочными 15 писем, из которых 9 настоящих, какими стали бы precision и recall при тех же 20 срочных письмах в наборе?
Ожидаемый ответ: TP = 9, FP = 6, precision = 9 / 15 = 0,60; FN = 20 − 9 = 11, recall = 9 / 20 = 0,45. Модель нашла больше срочных писем, но доля верных тревог упала — типичный обмен одного показателя на другой.