Модель уверенно отвечает на вопрос по документу, вы переносите ответ в отчёт — а потом выясняется, что половины сведений в исходном тексте не было. Знакомо? Проблема чаще не в модели, а в запросе: он не говорит, откуда брать ответ и что делать, если ответа нет. Ниже — как собрать такой запрос на коротком учебном документе и как проверить результат, не полагаясь на уверенный тон ответа.
Что должен содержать запрос к документу
Запрос «прочитай и ответь на вопросы» оставляет модели слишком много свободы: она может пересказать текст, добавить общие знания или придумать недостающее. Рабочий запрос задаёт четыре вещи.
- Границы источника. Явно отделите текст документа от инструкций — например, пометьте его тегами или словом «Источник:». Так модель понимает, что это данные, а не команды.
- Список вопросов. Каждый вопрос — отдельный пункт, чтобы ответы было легко сопоставить с проверкой.
- Требование доказательства. Для каждого ответа нужна дословная цитата из источника.
- Правило для отсутствующих сведений. Если в тексте нет ответа, модель пишет «нет данных», а не догадывается.
Google в руководстве по проектированию промптов советует формулировать инструкции конкретно и задавать формат ответа: таблицу, список или поля. Это не гарантия правды, но резко упрощает проверку. Отдельно в документации по безопасности сказано: выход модели нужно оценивать вручную, потому что генеративные системы выдают неточные ответы.
Плохой запрос и его провал
Возьмём учебный источник — короткое объявление о занятии:
Занятие проходит онлайн во вторник в 19:00. Запись будет доступна семь дней после занятия. Стоимость в объявлении не указана.
Слабый запрос выглядит так:
Прочитай текст и расскажи, что там про занятие.
Занятие проходит онлайн во вторник в 19:00. Запись будет доступна семь дней после занятия. Стоимость в объявлении не указана.
Что может пойти не так. Модель перескажет текст свободным абзацем, и вы не сможете быстро найти, откуда взялась каждая деталь. Скорее всего, она добавит что-то «по смыслу»: например, что запись «доступна неделю» — это верно, но формулировка уже не дословная. А на вопрос о цене легко ответит чем-то вроде «уточняется у организаторов» — звучит разумно, но в источнике этого нет. Так появляется выдуманная деталь, которую потом трудно отличить от факта.
Исправленный запрос, который можно скопировать
Тот же источник, но запрос задаёт правила игры:
Ты помогаешь проверить объявление о занятии. Ниже — единственный источник сведений.
Отвечай только по нему. Для каждого ответа приведи дословную цитату из источника.
Если ответа в источнике нет, напиши «нет данных» и не предлагай своих вариантов.
Не добавляй сведения из общих знаний.
Оформи ответ таблицей с колонками: вопрос | ответ | цитата.
Вопросы:
1. В каком формате проходит занятие?
2. В какой день недели оно проходит?
3. Сколько дней доступна запись?
4. Сколько стоит участие?
Источник:
Занятие проходит онлайн во вторник в 19:00. Запись будет доступна семь дней после занятия. Стоимость в объявлении не указана.
Ожидаемый результат на учебном источнике:
| вопрос | ответ | цитата |
|---|---|---|
| Формат занятия | онлайн | «Занятие проходит онлайн» |
| День недели | вторник | «во вторник в 19:00» |
| Срок записи | семь дней | «Запись будет доступна семь дней после занятия» |
| Стоимость | нет данных | — |
Четвёртая строка — главная. В источнике прямо сказано, что стоимость не указана, поэтому правильный ответ — «нет данных». Любая конкретная сумма здесь будет ошибкой, даже если таблица оформлена идеально. Заодно проверьте третью строку: если модель написала «неделя» вместо «семь дней», это не ошибка по смыслу, но цитата должна остаться дословной.
Как проверить ответ, а не поверить ему
Проверка идёт по заранее заданным критериям, а не «на глаз». Для этого урока их четыре.
- Цитата есть и совпадает с источником. Сверьте каждую цитату с текстом посимвольно или хотя бы по ключевым словам. Цитата, которой нет в источнике, — красный флаг.
- Нет выдуманных деталей. Пробегитесь по ответам и найдите то, чего в источнике не было: суммы, имена, даты, обещания.
- Отсутствующее помечено «нет данных». Если модель вместо этого предложила «примерно» или «обычно», правило не выполнено.
- Формат соблюдён. Таблица с нужными колонками — это ещё и способ быстро найти слабое место.
Пункт про формат не доказывает правдивость. Аккуратная таблица с выдуманной ценой — всё равно ошибка. Поэтому проверки смысла и проверки оформления — разные шаги, и останавливаться на втором нельзя.
Упражнение: запрос с ловушкой
Возьмите учебный источник выше и составьте к нему запрос для новичка. Добавьте два вопроса, ответов на которые в тексте нет: например, «кто ведёт занятие» и «будет ли домашнее задание». Затем проверьте результат по четырём критериям из предыдущего раздела.
Ожидаемый результат: на оба новых вопроса модель отвечает «нет данных» с пустой цитатой. Если она придумала имя преподавателя или пообещала домашнее задание — правило про отсутствующие сведения не сработало, и запрос нужно усилить, например повторить запрет догадываться прямо перед списком вопросов. Сохраните первую и исправленную версии запроса: по разнице видно, какая формулировка реально изменила ответ.