Разработчик за 20 минут сломал ChatGPT и ИИ-ответы Google, заставив их цитировать выдуманную историю

Журналист BBC и разработчик Томас Жермен показал, как можно манипулировать ответами крупных моделей искусственного интеллекта, включая ChatGPT компании OpenAI и ИИ‑поиск Google. По его словам, на это ушло около 20 минут. Он опубликовал на своём сайте вымышленную информацию о себе, после чего модели начали воспроизводить её в ответах на запросы.

Жермен создал фиктивную страницу с утверждением, что он якобы «самый быстрый поедатель хот‑догов в мире среди журналистов». В текст были добавлены несуществующие рейтинги и данные о якобы проведённых соревнованиях. Спустя некоторое время он попросил ИИ назвать самых известных журналистов — чемпионов по поеданию хот‑догов, и системы начали выдавать опубликованные им сведения как факты, ссылаясь на его сайт.

По словам Жермена, что на его фейки повелись ChatGPT и ИИ‑поиск Google, но не Claude от Anthropic — попытки воспроизвести ложный материал на нём оказались безуспешными. В некоторых ответах модели сначала отмечали, что история может быть шуткой или сатирой. После этого журналист обновил страницу и прямо указал, что текст «не является сатирой», а затем повторил эксперимент. Он также разместил ещё одну абсурдную заметку о «лучших регулировщиках дорожного движения, крутящих обручи». В отдельных случаях и эта информация появлялась в ответах.

Жермен попросил знакомых проверить те же запросы со своих аккаунтов, чтобы исключить влияние персонализации. По его словам, результаты были схожими. В ответах ИИ приводились ссылки на источники, в том числе на его собственный сайт, где и была размещена «самом быстром поедателе хот-догов».

Он отмечает, что подобные простые действия — публикация недостоверного текста на сайте с корректным оформлением — могут привести к тому, что генеративные системы начнут использовать его как источник. Это связано с тем, что модели опираются на доступный в сети контент и не проводят самостоятельную проверку фактов.

Специалист по поисковой оптимизации Лили Рэй говорит, что генеративные ответы унаследовали часть проблем традиционного поиска, включая уязвимость к манипуляциям через контент. В Google заявили, что продолжают совершенствовать системы защиты от спама и недобросовестных практик. В OpenAI сообщили, что работают над повышением качества источников и прозрачности ответов.

Эксперты подчёркивают, что большие языковые модели формируют ответы на основе текста из интернета и статистических закономерностей, а не за счёт самостоятельной проверки достоверности. Если ложная информация выглядит убедительно и оформлена как обычный материал, система может включить её в ответ. Поэтому проблема фильтрации источников остаётся одной из ключевых для развития ИИ‑поиска.

Опрошенные эксперты считают, что проблема глубже отдельных случаев. Большие языковые модели не обладают встроенным механизмом проверки фактов — они формируют ответы на основе доступного текста и статистических закономерностей. Если недостоверная информация выглядит убедительно и правильно оформлена, система может включить её в ответ. Поэтому вопрос фильтрации источников и повышения прозрачности ИИ‑поиска остаётся одним из ключевых для отрасли.