KPMG выпустила отчет об ИИ, который, вероятно, сам оказался написан ИИ (с выдуманными фактами)

Консалтинговый гигант KPMG убрал со своего сайта флагманский доклад об агентном ИИ после того, как в нем обнаружили десятки вымышленных или искаженных ссылок. Ирония в том, что отчет, посвященный внедрению ИИ в бизнес, сам, судя по всему, оказался продуктом генеративного ИИ — с характерными галлюцинациями.

В чем дело

Речь идет о докладе «Total Experience: Redefining Excellence in the Age of Agentic AI» («Общий опыт: переосмысляя совершенство в эпоху агентного ИИ»), который KPMG опубликовал в октябре прошлого года. В нем рассказывается, как глобальный бизнес внедряет ИИ-агентов.

Из 45 ссылок на источники достоверными оказались лишь пять, обнаружила команда расследователей GPTZero. Что касается остальных ссылок:

• 28 дают перефразированные названия и/или вымышленные элементы, хотя, вероятно, отсылают к реально существующим материалам;
• 12 настолько расплывчаты или некорректны, что установить исходник вообще невозможно.

Как минимум 16 ссылок, считают исследователи, — полноценные галлюцинации. Исследователи назвали это явление vibe citing. Так они описывают ссылки, которые выглядят правдоподобно, но, вероятно, сгенерированы ИИ: с измененными названиями, придуманными авторами, смешанными источниками и фактами, которых в оригинальных документах нет. В текстах, написанных человеком, такие ошибки встречаются редко.

Например, KPMG ссылалась на пресс-релиз японской железнодорожной компании JR East от 2019 года, которая якобы использует ИИ-агентов в рекомендациях пассажирам и прогнозировании сбоев. Но в самом релизе об этом не говорилось, к тому же термин «агентный ИИ» широко вошел в оборот лишь несколько лет спустя. В отчете также утверждалось, что Emirates запустила мобильного чат-бота Sara, способного менять рейсы. На деле Sara — не чат-бот, а робот-ассистент, и менять бронирования он не умеет. KPMG умудрилась ошибиться при сноске даже на собственный материал.

Реакция бизнеса

Financial Times проверила часть кейсов у самих компаний. UBS назвал утверждения KPMG о применении банком ИИ-агентов в инвестконсультировании, риск-менеджменте и комплаенсе «фактически неверными». «Швейцарские железные дороги» (SBB) заявили, что описание их ИИ-инструментов неточно. Транспортная администрация Лондона сочла свой кейс «вводящим в заблуждение». Национальная служба здравоохранения Большого Манчестера тоже не подтвердила возможности приписанных ей ИИ-агентов — источник, на который ссылалась KPMG, был пресс-релизом об ИИ-инструменте для борьбы с раком легких, технология не «прогнозировала повторные госпитализации» и не «проводила сортировку пациентов», как утверждалось в докладе.

«Мы подозреваем, что до публикации "Total Experience" никто в KPMG не перепроверил ни ссылки, ни утверждения, ни источники», — подытоживает автор исследования Пол Эсау.