Идеальный судья — плохой судья: GPT-5 сравнили с юристами

Профессор права Чикагского университета Эрик Познер и исследователь Шивам Саран воспроизвели юридический эксперимент, который изначально проводился на 61 федеральном судье США, — но на этот раз роль судьи отдали GPT-5. Модель применила юридически верную норму в 100% случаев. Живые судьи — лишь в 52%.

Участникам — и модели, и людям — предлагали спор о выборе применимого права в гипотетическом деле об автомобильной аварии. Исследователи манипулировали тремя переменными: действует ли жесткое правило или расплывчатый стандарт, кто из сторон вызывает больше сочувствия и в каком штате произошло ДТП. GPT-5 каждый раз следовал букве закона, не поддаваясь ни на симпатию к одной из сторон, ни на двусмысленность нормы.

Исследователи проверили и другие модели. Gemini 3 Pro показал тот же результат — 100%. Gemini 2.5 Pro применил закон верно в 92% случаев, o4-mini — в 79%, Llama 4 Maverick — в 75%. Замыкают список Llama 4 Scout и GPT-4.1 — по 50%, то есть на уровне подбрасывания монетки.

Но главный тезис статьи — не в превосходстве ИИ. Познер и Саран утверждают, что формализм моделей — это не достоинство, а ограничение. Живые судьи отступают от буквы закона, когда ее буквальное применение привело бы к несправедливому результату — и именно в этом, по мнению авторов, состоит их сила. ИИ такой гибкостью не обладает — и авторы задаются вопросом: готово ли общество принять решения, в которых нет места для человеческого суждения?

Статья продолжает серию экспериментов тех же авторов: в прошлогодней работе они тестировали GPT-4o на деле о военных преступлениях и получили схожий результат — модель оказалась формалистичнее людей. На фоне растущего интереса к ИИ в юридической практике вопрос Познера и Сарана остаётся открытым: если модель всегда следует закону, а общество ждёт от суда ещё и справедливости — какую роль ИИ может занять в правосудии?

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.