METR расширила график возможностей ИИ: модели сильны в коде, но уступают людям там, где нужно суждение
Некоммерческая организация METR добавила в свой «график временных горизонтов» открытые задачи, где успех трудно проверить автоматически. На них передовые модели пока слабее людей, хотя год назад отставали ещё заметнее.

Адаптация и понятное объяснение для начинающих. Заявления приведены по материалу источника.
График, который в сообществе ИИ цитировали чаще, чем понимали, получил продолжение. Некоммерческая организация METR, оценивающая возможности ИИ, расширила свой «график временных горизонтов»: к задачам с автоматически проверяемым результатом добавились более открытые и требующие суждения. Итог двойственный. В программировании передовые модели обгоняют почти всех людей, а с задачами на оценку и выбор пока не справляются.
Логика исходного графика проста, хотя пересказывают его часто неверно. Моделям дают набор задач, каждую из которых до них решал человек. Сложность задачи измеряют временем, которое ушло у человека, а модель оценивают по тому, насколько длинные задачи она доводит до конца. По прежним данным METR, длина таких задач у передовых моделей удваивалась примерно каждые четыре месяца.
Почему код даётся легче, чем суждение
Разрыв объясняется способом обучения. Для задач с проверяемым результатом работает обучение с подкреплением: система пробует много раз, а исследователи усиливают удачные «пути» в нейросети и ослабляют неудачные. В коде и математике правильность ответа можно установить автоматически, поэтому метод даёт заметный эффект.
С задачами вроде «выбери перспективное направление исследования» так не получится: успех здесь размыт и проявляется не сразу. Именно поэтому прежний график их не включал — и именно они нужны, если речь идёт об автоматизации исследований и разработок в ИИ.
Что показали новые задачи
В одном из испытаний моделям предложили придумать новые способы оценки ИИ, которые METR могла бы использовать в своей работе, а сотрудники организации выставляли баллы. Ни одна из предложенных моделями методик не показалась им достаточно полезной. В другом задании модели оценивали философские аргументы — и снова уступили людям. Правда, сами сотрудники METR расходятся во мнении, насколько это задание связано с автоматизацией исследований.
Есть и сдвиг в лучшую сторону. Новейшие модели, включая Opus 5.5, подошли к тому, что METR называет «пограничным» уровнем в проектировании оценок: для исследований их пока не используют, но год назад все модели были явно ниже планки.
Границы отчёта
Считать эти цифры точной мерой мешает методика. В исходном графике время выполнения задач замеряли на реальных людях, а в новом отчёте оно по большей части оценочное: платить за задания на сотни часов или искать редких экспертов слишком дорого. В задаче с философскими аргументами большинство оценок выставил один человек, и модели сравнивали именно с его суждением. При другой выборке экспертов баллы могли бы измениться.
Открытые задачи к тому же трудно набрать в достаточном количестве, поэтому делать по ним долгосрочные прогнозы специалисты не берутся. Мэтт Патц из METR прямо говорит, что устойчивых трендов, как для легко проверяемых задач, здесь, скорее всего, не получится. Пока это шаг в сторону более честной оценки, а не ответ на вопрос, насколько близка автоматизация ИИ-исследований.


