Основы ИИ и нейросетей: практический курс

Выбор модели под задачу

Как отличить классификацию, регрессию и генерацию и выбрать самый простой подход: правило, поиск, классификатор или генеративную модель. С таблицей сравнения и разбором учебного примера.

Урок 2 из 1535 минут с практикойОбновлено

Задача «сделать умную систему» почти никогда не начинается с выбора нейросети. Она начинается с вопроса: какой именно ответ нужен на выходе? От этого зависит и метод, и метрика, и цена ошибки. Ниже — три типа результата, четыре подхода и один разобранный пример, где видно, как выбор сужается сам.

Три типа результата: категория, число, новый объект

Если на выходе нужна одна из заранее известных категорий — «доставка», «оплата», «возврат» — это классификация. Метки фиксированы, и модель выбирает между ними. Если на выходе нужно число — сколько минут займёт доставка, сколько заказов придёт завтра — это регрессия. Целевая величина количественная, и ошибка измеряется в тех же единицах, что и сам ответ.

Третий тип — генерация: модель создаёт текст, изображение или иной объект, которого раньше не было. Здесь нет единственно правильного ответа, поэтому и проверка устроена иначе: сравнивают не с эталонной меткой, а с набором требований к результату. Один сервис может сочетать все три: сначала классифицировать обращение, затем предсказать срок, затем сгенерировать черновик ответа. Но это три отдельные задачи с тремя отдельными проверками.

Четыре подхода: от правила до генеративной модели

Тип результата подсказывает, что именно предсказывать, но не диктует инструмент. Один и тот же ответ часто можно получить разными способами, и самый простой из работающих обычно выигрывает по стоимости поддержки.

ПодходКогда подходитКак проверитьГде ломается
Правило или формулаУсловия чёткие, их немногоПрогнать известные случаи вручнуюФормулировки разнообразны, правила конфликтуют
Поиск по базеОтвет уже где-то записанСверить найденное с эталономНужного нет в базе или запрос сформулирован иначе
Классификатор или регрессияЕсть размеченные примеры, нужен обобщающий ответДоля верных ответов, ошибка в единицах величиныМало данных, метки шумные, новые категории
Генеративная модельНужен новый текст или изображение по описаниюПроверка по заранее заданным критериямПравдоподобный, но неверный результат

Правило не требует обучения и объясняется одной строкой. Поиск возвращает то, что уже проверено человеком. Классификатор обобщает на новые примеры, но требует размеченного набора. Генеративная модель даёт гибкий результат, зато её выход нужно проверять содержательно, а не только на соответствие метке. Подробнее о том, как модель учится на примерах, — в уроке «Что нейросеть умеет и как она учится».

Учебный пример: обращения в поддержку

Возьмём вымышленный интернет-магазин. В поддержку приходят письма, и их нужно направить в один из трёх отделов: доставка, оплата, возврат. Допустим, в каждом письме указан номер заказа, а в базе заказов есть статус: «в пути», «оплачен», «возвращён».

Первое решение — правило: статус «в пути» → доставка, «оплачен» → оплата, «возвращён» → возврат. Это классификация, но реализованная без модели. Проверка простая: берём двадцать писем, где статус известен, и смотрим, сколько раз правило совпало с тем, куда письмо действительно нужно было направить. Если совпало 19 из 20, дальше идти некуда — правило дешевле и понятнее любой сети.

Теперь усложним: часть писем приходит без номера заказа, а формулировки вроде «где моя посылка» или «деньги не пришли» не совпадают дословно ни с одним статусом. Правило начинает ошибаться. Здесь появляется смысл собрать размеченный набор писем и обучить классификатор, который смотрит на текст, а не только на статус. Но и тогда правило остаётся точкой сравнения: если классификатор на проверочных письмах угадывает не лучше правила, обучать его незачем.

Отдельно стоит прогноз срока доставки — это уже регрессия: ответ «через 3 дня», а не «доставка». Метрика здесь другая — средняя абсолютная ошибка в днях. И совсем другая история — черновик ответа клиенту: это генерация, где проверяют, нет ли в тексте неверных обещаний и лишних данных.

Как выбрать и не переусложнить

Порядок вопросов помогает не прыгнуть сразу к самому сложному варианту:

  1. Можно ли получить ответ правилом, формулой или поиском по базе? Если да — начните с этого и измерьте, где он ошибается.
  2. Есть ли размеченные примеры нужного типа? Без них классификатор или регрессия не обучатся, а генеративная модель не получит критериев проверки.
  3. Что дороже: пропустить случай или ошибиться зря? От этого зависит метрика, а не архитектура.
  4. Сколько стоит поддерживать решение? Правило меняется за минуту, обученную модель нужно переобучать при изменении данных.

Размер модели сам по себе ничего не доказывает. Небольшая сеть на центральном процессоре справляется с учебным распознаванием цифр, а обучение большой языковой модели с нуля требует других ресурсов и в этот курс не входит. Выбор архитектуры — отдельный шаг после того, как определены тип результата и метрика; об этом — в уроке «Базовая модель: с чем сравнивать результат».

Упражнение: таблица задач

Заполните таблицу для пяти задач: сортировка писем, прогноз числа заказов на завтра, черновик поста, поиск инструкции по названию, распознавание рукописной цифры. Для каждой укажите тип результата, самый простой подход и метрику проверки.

Ожидаемый результат — примерно такой:

  • Сортировка писем — классификация; правило по статусу заказа; доля верно направленных писем.
  • Прогноз числа заказов — регрессия; среднее за прошлые дни как отправная точка; средняя абсолютная ошибка в заказах.
  • Черновик поста — генерация; шаблон с подстановкой фактов; проверка по списку требований.
  • Поиск инструкции — поиск по базе; точное совпадение названия; доля найденных инструкций.
  • Распознавание цифры — классификация; простая модель на размеченных примерах; доля верных ответов.

Если для всех пяти задач у вас получился один и тот же подход, стоит вернуться к первому разделу: тип результата у них разный, значит, и проверка не может быть одинаковой.

Подробнее по теме: Getting Started — scikit-learn 1.9.1 documentation; 1.17. Neural network models (supervised) — scikit-learn 1.9.1 documentation.