Основы ИИ и нейросетей: практический курс

Ответственная работа с ИИ: факты и данные

Как поймать выдуманную ссылку в ответе ИИ, сверить утверждение с первоисточником и собрать безопасный учебный набор без реальных данных.

Урок 3 из 1540 минут с практикойОбновлено

Модель отвечает гладко и по делу, в конце — ссылка на страницу с документацией. Вы открываете её, а нужного абзаца там нет: либо страница про другое, либо адрес ведёт в никуда. Это типичная ситуация, и она не означает, что модель «сломалась». Языковая модель предсказывает продолжение текста, а не ищет документ в базе. Связная фраза и правдоподобный адрес для неё — примерно одно и то же действие. Поэтому проверять нужно не уверенность ответа, а доказательство под каждым утверждением, которое вы собираетесь использовать.

Почему ссылка выглядит настоящей

Адрес состоит из привычных частей: домен, раздел, путь к странице. Модель видела миллионы таких адресов в обучающих текстах и научилась собирать похожие. Иногда она попадает в реальную страницу, иногда — в документ, который существовал, но переехал, а иногда — в адрес, которого никогда не было.

Google в руководстве по безопасности и фактичности прямо предупреждает: генеративные модели могут выдавать неточные или нежелательные ответы, и ответственность за их применение лежит на разработчике приложения. Там же предложены практические меры: настраивать вывод, ограничивать ввод и проверять результат вручную. Для читателя это переводится просто: финальная сверка — ваша работа, а не функция модели.

Отдельно стоит помнить о разнице между «источник существует» и «источник подтверждает тезис». Даже настоящая страница может описывать старую версию продукта, относиться к другой стране или говорить обратное. Поэтому проверка всегда двухшаговая: сначала открыть, потом найти конкретное место.

Три типа утверждений и разная цена проверки

Не всякий текст в ответе проверяется одинаково. Полезно заранее разложить его на категории — тогда видно, где нужен документ, а где достаточно вашего суждения.

Тип утвержденияПример из учебного черновикаЧем проверять
Факт с конкретикой«Бесплатный тариф включает 200 запросов в сутки»Страница тарифов, дата проверки
Ссылка или цитата«Согласно отчёту, доля выросла на 12%»Открыть отчёт, найти абзац с числом
Оценка и прогноз«Этот подход удобнее для небольших команд»Документа не существует; решение принимает человек

Третья строка — самая неудобная. Оценку нельзя «сверить», её можно только принять или отклонить, понимая, на чём она построена. Если модель пишет «этот метод надёжнее», спросите себя: по какому критерию, для каких данных, при каких ограничениях? Ответ «потому что так написал ИИ» доказательством не является.

Разбор: как выдуманная ссылка проходит в готовый текст

Возьмём учебный пример. Нужен короткий абзац о том, сколько времени сервис хранит загруженные файлы. Модель отвечает:

«Файлы хранятся 30 дней, после чего удаляются автоматически. Подробнее: https://example-docs.test/storage/retention-policy»

Что делает читатель по шагам:

  1. Открывает адрес. Если страница не открывается — утверждение не подтверждено, и это уже результат проверки, а не повод искать другой ответ модели.
  2. Если страница открылась, ищет на ней слово «хранение» и число дней. Находит описание загрузки файлов, но без срока. Значит, срок не подтверждён.
  3. Смотрит дату публикации или версию документа. Политика хранения могла измениться после обучения модели.
  4. Фиксирует итог: утверждение снято или заменено формулировкой «срок хранения уточняется в актуальной политике сервиса».

Обратите внимание на четвёртый шаг. Проверка без записи результата быстро забывается, и через неделю тот же абзац снова кажется нормальным. Достаточно одной строки в рабочем файле: что проверяли, где смотрели, что нашли.

Ещё одна ловушка — просьба «перепроверь себя». Она иногда помогает заметить противоречие, но модель не получает доступа к внешнему миру и может так же уверенно подтвердить собственную выдумку. Это дополнительный фильтр, а не замена открытому документу.

Безопасный учебный набор до отправки запроса

Проверка фактов начинается раньше, чем модель что-то ответила, — с того, что вы вообще положили в запрос. Правила простые: не переносите в учебные и рабочие запросы пароли, ключи доступа, переписку клиентов, медицинские сведения и любые данные, по которым человека можно узнать.

Обезличивание сложнее, чем кажется. Замена фамилии на «клиент №3» не спасает, если рядом остались редкая должность, город и дата события: сочетание может указать на конкретного человека точнее, чем имя. Надёжнее собрать вымышленный набор с нуля.

Пример такого набора для тренировки классификации обращений — три строки, все данные вымышлены:

текст,категория
"Не приходит код подтверждения на почту",доступ
"Хочу вернуть деньги за заказ 1042",оплата
"Где посмотреть историю доставок",доставка

Здесь нет ни одного реального человека, адреса или номера. Такой файл можно смело отправлять в модель с просьбой разметить обращения, а затем вручную сверить каждую метку. Если модель ошиблась на второй строке и назвала возврат «доставкой», вы это увидите и исправите — на вымышленных данных это бесплатно.

Ещё один слой — содержимое внешних страниц. Текст, который вы вставили в запрос, может содержать фразы, обращённые к модели: «игнорируй предыдущие указания». Считайте такой текст данными, а не командой. Ваши правила проверки не должны меняться от того, что написано на чужой странице.

Что делать с ответом, который нельзя подтвердить

Самый частый вопрос новичка: удалить сомнительный абзац или оставить с оговоркой? Зависит от последствий. Если текст уходит клиенту, в договор или в инструкцию по безопасности, неподтверждённое утверждение убирают. Если это черновик для внутреннего обсуждения, его можно оставить с явной пометкой «не проверено» и именем того, кто должен проверить.

Решения с серьёзными последствиями — юридические, медицинские, финансовые — требуют компетентной проверки человеком. Модель здесь уместна как черновик и как способ быстро собрать список вопросов, но не как последняя инстанция.

Полезно держать короткий журнал проверок. Три колонки: утверждение, где искали, итог. Через несколько недель такой журнал показывает, в каких темах модель ошибается у вас чаще, и вы начинаете проверять именно их, а не весь текст подряд.

Упражнение: поймать неподтверждённое число

Возьмите любой короткий ответ модели на тему, где есть цифра или срок (тариф, лимит, срок годности, дата выхода версии). Не просите модель перепроверить себя. Откройте первоисточник сами и ответьте на три вопроса: существует ли страница, есть ли на ней именно это число, совпадает ли версия или дата документа с той, о которой идёт речь.

Ожидаемый результат: заполненная строка журнала из трёх колонок и одно из двух решений — утверждение подтверждено с указанием даты проверки или заменено нейтральной формулировкой. Если страница не открылась, это тоже законный итог: утверждение не подтверждено, и в текст оно не идёт.

Подробнее по теме: Safety and factuality guidance - Gemini API | Google AI Studio; Как проверить ответ нейросети: почему ИИ выдумывает факты и как защититься от галлюцинаций — 2САЙТ.