Каждый седьмой запрос в библиотеку — галлюцинация ИИ: в США бьют тревогу
Библиотека штата Вирджиния оценивает, что 15% email-запросов в их архив — это ссылки на несуществующие источники, сгенерированные ChatGPT. Студенты и исследователи просят найти книги, журналы и документы, которых никогда не существовало. Тренд нарастает с момента выхода GPT-3.5 в конце 2022 года.
"Для нашего персонала гораздо сложнее доказать, что уникальный документ не существует", — говорит Сара Фоллз, глава отдела по работе с исследователями Library of Virginia. Библиотека планирует просить пользователей проверять источники перед обращением и указывать, получены ли ссылки от ИИ. Также придется ограничить время, которое сотрудники тратят на верификацию.
На прошлой неделе Международный комитет Красного Креста выпустил официальное предупреждение: ChatGPT, Gemini, Copilot и другие модели выдумывают каталожные номера, описания документов и целые платформы. Среди примеров — несуществующие Journal of International Relief и International Humanitarian Digital Repository. Архивы МККК — одни из крупнейших гуманитарных архивов в мире — завалены запросами на фантомные документы.
В МККК считают, что проблема в том, что языковые модели не проводят реальный поиск и не проверяют источники. Они генерируют текст на основе статистических паттернов — и не умеют отвечать "информации нет". Как отмечает МККК, цель ИИ — всегда выдать ответ, даже когда исторических источников не существует.
Стоит отметить, ��то в последних версиях ИИ разработчики ужесточили борьбу с галлюцинациями. Например, при обучении GPT-5 применялась специальная модель, которая отслеживала галлюцинации и отправляла такие ответы на доработку. А недавно в GPT-5 добавили исследовательский режим Confessions, в котором модель выдает отчет, почему она дала подобный ответ и уверена ли в нем. Эти отчеты должны помочь инженерам OpenAI сократить количество галлюцинаций в будущем.
P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.