Задача «сделать умную систему» почти никогда не начинается с выбора нейросети. Она начинается с вопроса: какой именно ответ нужен на выходе? От этого зависит и метод, и метрика, и цена ошибки. Ниже — три типа результата, четыре подхода и один разобранный пример, где видно, как выбор сужается сам.
Три типа результата: категория, число, новый объект
Если на выходе нужна одна из заранее известных категорий — «доставка», «оплата», «возврат» — это классификация. Метки фиксированы, и модель выбирает между ними. Если на выходе нужно число — сколько минут займёт доставка, сколько заказов придёт завтра — это регрессия. Целевая величина количественная, и ошибка измеряется в тех же единицах, что и сам ответ.
Третий тип — генерация: модель создаёт текст, изображение или иной объект, которого раньше не было. Здесь нет единственно правильного ответа, поэтому и проверка устроена иначе: сравнивают не с эталонной меткой, а с набором требований к результату. Один сервис может сочетать все три: сначала классифицировать обращение, затем предсказать срок, затем сгенерировать черновик ответа. Но это три отдельные задачи с тремя отдельными проверками.
Четыре подхода: от правила до генеративной модели
Тип результата подсказывает, что именно предсказывать, но не диктует инструмент. Один и тот же ответ часто можно получить разными способами, и самый простой из работающих обычно выигрывает по стоимости поддержки.
| Подход | Когда подходит | Как проверить | Где ломается |
|---|---|---|---|
| Правило или формула | Условия чёткие, их немного | Прогнать известные случаи вручную | Формулировки разнообразны, правила конфликтуют |
| Поиск по базе | Ответ уже где-то записан | Сверить найденное с эталоном | Нужного нет в базе или запрос сформулирован иначе |
| Классификатор или регрессия | Есть размеченные примеры, нужен обобщающий ответ | Доля верных ответов, ошибка в единицах величины | Мало данных, метки шумные, новые категории |
| Генеративная модель | Нужен новый текст или изображение по описанию | Проверка по заранее заданным критериям | Правдоподобный, но неверный результат |
Правило не требует обучения и объясняется одной строкой. Поиск возвращает то, что уже проверено человеком. Классификатор обобщает на новые примеры, но требует размеченного набора. Генеративная модель даёт гибкий результат, зато её выход нужно проверять содержательно, а не только на соответствие метке. Подробнее о том, как модель учится на примерах, — в уроке «Что нейросеть умеет и как она учится».
Учебный пример: обращения в поддержку
Возьмём вымышленный интернет-магазин. В поддержку приходят письма, и их нужно направить в один из трёх отделов: доставка, оплата, возврат. Допустим, в каждом письме указан номер заказа, а в базе заказов есть статус: «в пути», «оплачен», «возвращён».
Первое решение — правило: статус «в пути» → доставка, «оплачен» → оплата, «возвращён» → возврат. Это классификация, но реализованная без модели. Проверка простая: берём двадцать писем, где статус известен, и смотрим, сколько раз правило совпало с тем, куда письмо действительно нужно было направить. Если совпало 19 из 20, дальше идти некуда — правило дешевле и понятнее любой сети.
Теперь усложним: часть писем приходит без номера заказа, а формулировки вроде «где моя посылка» или «деньги не пришли» не совпадают дословно ни с одним статусом. Правило начинает ошибаться. Здесь появляется смысл собрать размеченный набор писем и обучить классификатор, который смотрит на текст, а не только на статус. Но и тогда правило остаётся точкой сравнения: если классификатор на проверочных письмах угадывает не лучше правила, обучать его незачем.
Отдельно стоит прогноз срока доставки — это уже регрессия: ответ «через 3 дня», а не «доставка». Метрика здесь другая — средняя абсолютная ошибка в днях. И совсем другая история — черновик ответа клиенту: это генерация, где проверяют, нет ли в тексте неверных обещаний и лишних данных.
Как выбрать и не переусложнить
Порядок вопросов помогает не прыгнуть сразу к самому сложному варианту:
- Можно ли получить ответ правилом, формулой или поиском по базе? Если да — начните с этого и измерьте, где он ошибается.
- Есть ли размеченные примеры нужного типа? Без них классификатор или регрессия не обучатся, а генеративная модель не получит критериев проверки.
- Что дороже: пропустить случай или ошибиться зря? От этого зависит метрика, а не архитектура.
- Сколько стоит поддерживать решение? Правило меняется за минуту, обученную модель нужно переобучать при изменении данных.
Размер модели сам по себе ничего не доказывает. Небольшая сеть на центральном процессоре справляется с учебным распознаванием цифр, а обучение большой языковой модели с нуля требует других ресурсов и в этот курс не входит. Выбор архитектуры — отдельный шаг после того, как определены тип результата и метрика; об этом — в уроке «Базовая модель: с чем сравнивать результат».
Упражнение: таблица задач
Заполните таблицу для пяти задач: сортировка писем, прогноз числа заказов на завтра, черновик поста, поиск инструкции по названию, распознавание рукописной цифры. Для каждой укажите тип результата, самый простой подход и метрику проверки.
Ожидаемый результат — примерно такой:
- Сортировка писем — классификация; правило по статусу заказа; доля верно направленных писем.
- Прогноз числа заказов — регрессия; среднее за прошлые дни как отправная точка; средняя абсолютная ошибка в заказах.
- Черновик поста — генерация; шаблон с подстановкой фактов; проверка по списку требований.
- Поиск инструкции — поиск по базе; точное совпадение названия; доля найденных инструкций.
- Распознавание цифры — классификация; простая модель на размеченных примерах; доля верных ответов.
Если для всех пяти задач у вас получился один и тот же подход, стоит вернуться к первому разделу: тип результата у них разный, значит, и проверка не может быть одинаковой.
Подробнее по теме: Getting Started — scikit-learn 1.9.1 documentation; 1.17. Neural network models (supervised) — scikit-learn 1.9.1 documentation.