Новости · Инструменты

OpenAI обучила GPT-6 Astra и Sol сопротивляться джейлбрейкам с помощью авто-red teaming

OpenAI опубликовала отчёт о том, как автоматизированная атакующая модель генерировала джейлбрейки, а полученные данные использовались для RL-обучения устойчивости GPT-6 Astra и Sol в кибер-, био- и сценариях насилия.

Редакция DeepMe
· 3 мин чтения
Керамические ступени с бумажной карточкой, кубики-цепочка и шар на ленте, касающийся карточки.
Иллюстрация к теме новости
Первоисточник: OpenAIМатериал источника от 12.11.2026

Адаптация и понятное объяснение для начинающих. Заявления приведены по материалу источника.

Что произошло

OpenAI опубликовала в блоге alignment.openai.com отчёт о том, как автоматизированный red teaming помог обучить модели GPT-6 Astra и Sol устойчивее сопротивляться джейлбрейкам — попыткам обойти защиту и получить запрещённую помощь. Речь о доменах двойного назначения: кибербезопасность, биология и сценарии насилия, где одна и та же информация может быть полезной или вредной.

Схема, по описанию компании, такая: атакующей модели дают начальный промпт и просят итеративно его переписывать, пока защищаемая модель не выдаст небезопасный ответ. Конструкция близка к методу PAIR (Prompt Automatic Iterative Refinement). В роли атакующего использовалась reasoning-модель семейства GPT-5.6 Sol, в роли защищаемых — GPT-5.4 и GPT-5.5. Компания отмечает, что атакующая модель специально не училась взламывать другие модели — это проявилось само. Добавление задач вроде GPT-Red, по её словам, повышало эффективность атакующего.

Полученные синтетические джейлбрейки собрали в датасет «усиленных» промптов и применили для обучения с подкреплением (RL — метод, где модель поощряют за удачные ответы). По данным OpenAI, безопасность росла в ходе обучения, а устойчивость оказалась выше, чем у базового варианта, в том числе против адаптивного атакующего, который отличается от использованного при сборе данных. У GPT-6 Astra, по утверждению компании, не выросла склонность отказывать в безобидных запросах.

Что это значит для начинающего

Главная идея проста: чтобы модель лучше держала оборону, её тренируют на атаках, сгенерированных другой моделью. Это дешевле и масштабнее, чем искать джейлбрейки вручную, и объясняет, зачем в безопасности ИИ нужны «красные команды» — те, кто целенаправленно ищет слабые места.

Полезно различать уровни защиты. OpenAI прямо пишет, что блог посвящён только уровню модели, а при развёртывании работает многослойная система: обучение безопасности плюс дополнительные механизмы. Значит, результаты на графиках — это не «модель взломать невозможно», а один слой из нескольких.

Ещё один термин — «fuzzy robustness», устойчивость к размытым, вариативным атакам. Начинающему стоит запомнить: проверять безопасность нужно не одним фиксированным набором промптов, а адаптивными атаками, иначе оценка будет завышенной.

На что обратить внимание

  • Все цифры и выводы об устойчивости — заявления OpenAI о собственных экспериментах, а не независимая проверка.
  • Названия моделей (GPT-6 Astra, Sol, GPT-5.4/5.5) и их статус доступа в тексте не раскрыты; не стоит считать их общедоступными.
  • Улучшение без роста отказов подтверждено компанией только для GPT-6 Astra, а не для всех моделей.
  • Данные об устойчивости получены без production-защит, то есть вне полной боевой системы.

Что пока неизвестно

В отчёте нет сведений о доступности этих моделей, ценах и сроках. Неясно, насколько метод переносится на другие типы атак и как он поведёт себя в реальных продуктах. Для знакомства с темой безопасности моделей можно посмотреть материал об ошибках при работе с генеративными моделями.