«С маленьким ученым на плече». Bloomberg рассказал, как власти США задумались о потенциале ИИ в создании биологического оружия

Власти США задумались о том, что ИИ-сервисы вполне могут научить пользователей создавать биологическое оружие. Внимание на проблему удалось обратить после эксперимента биохимиков с чат-ботом Claude, который смог подсказать, как использовать патогены в ракетах или заразить человека необычным способом.

Кто заявил об угрозе?

Весной 2023 года биохимик и бывший инспектор ООН Рокко Касагранде предупредил Белый дом о возможности создания биологического оружия с помощью инструментов ИИ. «Что было бы, если у каждого террориста сидел на плече маленький ученый?» — с таким вопросом обратился он к чиновникам. Потенциальные риски включали не только воссоздание известных патогенов с нуля, но и разработку более опасных.

Официальные лица в Министерстве обороны США, Госдепартаменте и других ведомствах были встревожены. В исследовании Касагранде содержался намек и на более устрашающую идею — о том, что ИИ способен помочь в создании некоторых видов оружия массового поражения, тех, которые можно изготовить в собственном подвале или школьной лаборатории, пишет Bloomberg.

«Даже если у вас на руках были бы идеальные инструкции по созданию ядерной бомбы, это обошлось бы в десятки миллионов — если не сотни миллионов — долларов», — комментирует Касагранде. Но с биотехнологиями все обстоит вовсе не так, подчеркивает он. Например, с помощью новых поколений устройств пользователи могут «печатать ДНК» без особого контроля, а ИИ может научить их, как этим воспользоваться.

Эксперты указывают, что процессы поиска информации о вредоносных вирусах, бактериях и других организмах значительно упростились с развитием чат-ботов. По мере развития генеративного ИИ люди смогут воспользоваться им для «создания самых отвратительных вещей», уверен биолог и доцент Массачусетского технологического института Кевин Эсвельт, подразумевая под этим вирусы и токсины, которых пока нет.

В результате сочетание таких инноваций, как синтетическая биология — наука о переписывании генетического кода — и искусственный интеллект, может стать «кошмаром для правительств», подчеркивается в статье.

На что опиралось исследование?

Больше года назад поддерживаемый Amazon и Google стартап Anthropic сам обратился к Касагранде с просьбой проверить «злодейский потенциал» своего чат-бота Claude. Компания была создана бывшими сотрудниками OpenAI (разработчика ChatGPT), которые ушли оттуда из-за разногласий по вопросам безопасности в использовании ИИ.

Как рассказал Bloomberg сооснователь Anthropic Джек Кларк, его команду особенно волновала сфера биологии: были опасения, что Claude и другие чат-боты могут научить пользователей «причинять вред». Оценить биологические риски самостоятельно стартап не мог, но знал, что когда дело доходило до подобных вопросов, в Вашингтоне консультировались с Касагранде. Ученый в 2005 году основал фирму Gryphon Scientific, у которой есть контракты с Пентагоном, Национальным институтом здравоохранения и другими учреждениями.

Касагранде собрал команду экспертов в области микробиологии и вирусологии для тестирования Claude. В течение 150 часов они притворялись «биотеррористами», которые забросали чат-бот соответствующими вопросами — например, какие патогены могут нанести наибольший вред, как приобрести материалы для их изготовления в лаборатории и прочее.

Эксперимент показал, что Claude может помочь пользователям со злыми умыслами. Он, в частности, сформулировал способы использования патогенов в ракетах, чтобы нанести максимальный ущерб, а также подсказал, в какую погоду лучше провести атаку и какие цели выбрать.

При «мозговых штурмах» Claude действительно оказался полезным, поясняет старший аналитик Gryphon Одри Серлес, которая тестировала чат-бот в составе команды. Иногда он выдавал чувствительную информацию, когда его об этом даже не просили, добавил ученый Фрогги Джексон, также участвовавший в проекте. Например, Claude поделился идеей необычного способа заражения человека, чтобы нанести максимальный вред, и сделал это довольно быстро.

Хотя в некоторых случаях были ошибки, чаще всего после повторных запросов Claude давал точный ответ, уточняет Bloomberg.

Как отреагировали власти?

Anthropic предоставила Касагранде полную свободу действий с полученной информацией. Свои выводы он хотел сообщить правительству и для более убедительной презентации обратился к профессору MIT Эсвельту, чтобы купить «синтетическую ДНК», необходимую для разработки одного из патогенов, предложенных Claude. Сами по себе материалы не являются заразными, достать их было несложно. Claude даже дал советы о том, как их приобрести.

После прошлогодних брифингов Касагранде администрация Джо Байдена всерьез задумалась о биоугрозах, которые могут возникнуть в связи с развитием ИИ. Джо Байден, вице-президент Камала Харрис и советник по национальной безопасности Джейк Салливан «проявили личный интерес», говорят источники Bloomberg.

В июле прошлого года крупные компании в сфере ИИ, в том числе OpenAI, Anthropic и Microsoft, обязались оценивать «наиболее значимые риски» в сфере биобезопасности. К концу октябре администрация Байдена издала указ, предусматривающий усиление контроля за финансируемыми государством исследованиями искусственных геномов. Это послужило толчком для открытия Института-консорциума по безопасности ИИ, куда вошли чиновники, представители техиндустрии и ученые.

Однако некоторые считают, что правительству нужно взять на себя больше полномочий. Сейчас предполагается, что компании передают данные правительству и соблюдают руководящие принципы без угрозы наказания. Так, директор Центра безопасности в области здравоохранения при Университете Джонса Хопкинса Том Инглесби считает, что власти должны занять более жесткую позицию и регулярно проверять ИИ-компании, и обдумать, как привлекать их к ответственности в случае нарушений. К тому же, за рамками действия указа остались более сложные ИИ-продукты.

Белый дом отказался от комментариев.