Риски GPT-4 для человечества, отъезд из России основателей NtechLab и как уберечься от прослушки

Тема выпуска — сможет ли искусственный интеллект уничтожить человечество

Эта неделя выдалась богатой на новости об ИИ — но в куда менее восторженных тонах, чем те, к которым мы за последние месяцы привыкли. Сначала несколько тысяч экспертов и предпринимателей, связанных с разработками в области нейросетей, подписали открытое письмо с призывом на полгода заморозить релизы более мощных, чем GPT-4, нейросетей из-за угроз безопасности. А следом известный исследователь угроз ИИ Элиезер Юдковский призвал вовсе прекратить разработку генеративных нейросетей и бомбить дата-центры тех, кто этот запрет будет нарушать. В этом выпуске технорассылки расскажем, о каких именно угрозах идет речь и что на самом деле может стоять за призывами к остановкам разработок нейросетей.

Что случилось?

На этой неделе более двух тысяч исследователей и основателей стартапов подписали открытое письмо с призывом не менее чем на полгода ввести мораторий на обучение систем искусственного интеллекта (ИИ), более мощных, чем GPT-4. Среди подписантов письма, составленного Future of Life Institute (некоммерческой организацией, работающей над снижением экзистенциальных рисков, с которыми сталкивается человечество в связи с развитием ИИ), нашлось немало техноселебрити. Например, Илон Маск, Стив Возняк и теоретики ИИ канадский математик Йошуа Бенжио и британский ученый Стюарт Рассел.

По их мнению, гонку моделей универсального ИИ, способных выполнять «человеческие» задачи и работающих по принципу «черного ящика», пора остановить. «Нужно ли разрабатывать нечеловеческий разум, способный превзойти человечество по численности и разумности, а потом сдать его на свалку истории и заместить? Нужно ли рисковать потерей контроля над цивилизацией? Такие решения нельзя отдавать на откуп лидерам технологических компаний, которых никто не выбирал», — говорится в письме.

К разработке внешнего контроля для ИИ нужно привлечь власти, считают авторы письма. Минимальный набор мер: создать особых регуляторов с большими полномочиями; отслеживать не только продвинутые ИИ, но и кластеры вычислительных мощностей; создать системы верификации и маркировки искусственно сгенерированного контента; создать системы аудита и сертификации ИИ; установить ответственность за вред, нанесенный ИИ; заранее продумать механизмы компенсации последствий его внедрения в экономике и политике.

Прецеденты «сдерживания» прорывных технологий есть, напоминают авторы письма, — клонирование человека, наследуемое редактирование генома человека, совершенствование вирусов и евгеника. «Мощные ИИ-системы должны разрабатываться только тогда, когда мы будем уверены, что их суммарный эффект положителен, а риски управляемы», — говорится в письме.

В ответ на открытое письмо в журнале Time опубликовал колонку американский исследователь ИИ Элиезер Юдковский, который последние 20 лет изучает экзистенциальные угрозы, связанные с появлением Artificial general intelligence (General AI, AGI), или общего искусственного интеллекта. Юдковский предупредил, что полугодовой паузы в разработках мало, чтобы предотвратить угрозы, которые ИИ несет человечеству. Он посчитал, что авторы письма недооценивают серьезность положения, в котором мы оказались.

По мнению Юдковского, наиболее вероятным результатом появления ИИ с разумом, превосходящим человеческий, будет то, что «буквально все на Земле погибнут». Исследователь предупредил, что искусственному интеллекту «безразличны мы и разумная жизнь в целом» и прямо сейчас разработчики нейросетей все еще далеки от того, чтобы наделить их обратным качеством.

В итоге исследователь предложил ввести бессрочный и общемировой мораторий на разработки ИИ, а если кто-то откажется вступать в договор и будет по-тихому разрабатывать нейросети, его дата-центры нужно будет уничтожить «путем воздушной атаки».

Алармизм или реальные угрозы?

Как так вышло, что в одну неделю буквально весь техномир заговорил об угрозах ИИ, о которых раньше говорили лишь немногие? На самом деле ничего удивительного в этом нет, считают все опрошенные The Bell эксперты. Главная причина — в невероятной популярности ChatGРТи и хайпа, который благодаря чат-боту от OpenAI получили генеративные нейросети.

Другая вероятная причина, которую также не стоит списывать со счетов, заключается в том, что шестимесячный мораторий дал бы некоторым разработчикам шанс догнать лидеров рынка. В этом смысле примечательно, что никто из руководства OpenAI подписывать открытое письмо не стал. Зато это сделал Илон Маск, который стоял у истоков OpenAI и даже пытался ее купить, а теперь собирается строить свою систему.

Но тот факт, что часть подписантов могут просто преследовать свои интересы, не означает, что рисков в дальнейшем развитии ИИ нет, признают собеседники The Bell.

Новые модели вроде той же GPT-4 демонстрируют все более сложное поведение — и происходит это гораздо быстрее, чем многие ожидали, объясняет сооснователь Intento и специалист по ИИ и анализу данных Григорий Сапунов. Так, согласно прогнозу сайта Metaculus (это сервис, который при участии экспертов и представителей техсообщества строит прогнозы на разные темы), еще в прошлом апреле после появления новостей о будущей GPT-4 срок создания AGI был перенесен с 2042 года на 2028-й. А теперь техносообщество и вовсе считает, что с общим ИИ мы познакомимся уже в 2026 году.

Основной страх внушает как раз то, что технологии развиваются быстрее, чем ожидалось, считает Сапунов. «Возможно, мы быстро преодолеем пропасть между текущими моделями и общим ИИ. И хотя самого по себе GPT-4 бояться не надо, уже эта модель ярко подсвечивает проблему: разработки OpenAI непрозрачны. Так же как будут непрозрачны и все новые версии, которые вскоре появятся», — объясняет эксперт. И, действительно, после релиза GPT-4 OpenAI отказалась публиковать исследовательские материалы, лежащие в основе новой модели.

При этом риски, которые несет в себе стремительно умнеющий ИИ, по всей видимости, всерьез воспринимают не только исследователи-алармисты: у той же OpenAI есть целый отдел, занимающийся исследованиями угроз AGI для человечества. Отделы AI Safety есть почти у каждой компании-разработчика генеративных нейросетей. Они занимаются, условно, защитой самого ИИ от атак извне — чтобы нейросеть не ругалась матом и не писала расистские комментарии (а к компании-создателю потом не предъявляли судебные иски), объясняет автор телеграм-канала RationalAnswer Павел Комаровский. А вот отделов AI Alignment, которые в обратную сторону занимаются защитой людей от ИИ, гораздо меньше. И OpenAI в этом вопросе как раз довольно прогрессивна. В ее пользу говорит и то, что несмотря на то, что GPT-4 была готова к запуску еще в середине прошлого года, компания не спешила с релизом, чтобы еще раз убедиться, что нейросеть еще не способна убежать от своих создателей в Интернет и начать жить там своей жизнью.

Однако отношение к экзистенциальным угрозам, о которых много лет уже пишет и рассказывает Элиезер Юдковский, в сообществе специалистов по машинному обучению в массе своей достаточно скептическое, признает Комаровский. Главная претензия разработчиков в том, что Юдковский — не практик, а теоретик и не понимает, как все устроено на самом деле, говорят собеседники The Bell. Cооснователь ИИ-стартапа QuickPose.ai и автор телеграм-канала Transformer Денис Волхонский так объясняет популяризацию темы экзистенциальных рисков ИИ: «Люди со стороны видят, насколько мощными становятся нейросети, и опасаются этого. Однако угроза уничтожения человечества от AGI, на мой взгляд, не очень реалистична».

В научном сообществе апокалиптические теории не очень популярны, добавляет Senior AI Research Scientist, автор телеграм-канала «эйай ньюз» Артем Санакоев. «Мы пока что очень далеки от AGI, который может навредить человечеству. И еще не факт, что путь развития, по которому идут сейчас генеративные нейросети, вообще ведет к появлению AGI». У нейросетей нет разума или мышления, они просто генерируют ответ на вопрос слово за словом (подробнее о том, как это работает, читайте здесь). «Просто некоторые из них делают это очень хорошо, потому что их разработчики смогли их хорошо обучить», — считает Волхонский.

Странности в поведении ChatGPT обсуждают не только профессиональном сообществе. Например, журналист The New York Times Кевин Руз во время теста чат-бота в поисковке Bing за два часа переписки с нейросетью дошел до того, что ИИ попросил называть его Сидни, сообщил о желании взламывать компьютеры, а потом признался в любви. А вдова из Бельгии утверждает, что ее муж покончил с собой после того, как шесть недель общался с другим чат-ботом — и именно разговоры привели к трагическому финалу.

Не без участия СМИ отношение к ИИ меняется — об этом говорит и появление того самого открытого письма, число подписантов которого за несколько дней выросло до 2,5 тысяч, и то, что власти разных стран начинают беспокоиться о слишком быстром развитии технологии. Так, Италия первой среди западных стран временно заблокировала ChatGPT, правда, не из-за угроз выживанию человечества, а из-за утечки данных, которая на днях случилась у OpenAI. «Хотя Юдковский в научном сообществе — скорее маргинал, польза в его выступлениях все же есть», — признает Санакоев: задуматься о том, что будет, если человечеству все же удастся создать AGI, конечно, стоит.

Что за риски

Так о чем именно предупреждают технопессимисты и исследователи, разделяющие их опасения? Главная проблема в том, что у разработчиков ИИ нет стопроцентно надежного способа контролировать то, что генерируют их модели. И тот же Юдковский считает, что разработчики уже упустили момент (он дает 90% вероятности), когда они еще могли придумать эти сдерживающие механизмы, объясняет специалист по машинному обучению и автор телеграм-канала «Сиолошная» Игорь Котенков. Это не значит, что, как только появится общий ИИ, человечество сразу окажется под угрозой уничтожения, но точно спрогнозировать, как именно будут развиваться события, мы тоже не можем.

Риски, которые могут последовать за появлением сверхчеловеческого искусственного интеллекта, многочисленны, считают сторонники такого взгляда на проблему. «Например, ИИ может под видом лекарства от рака сгенерировать формулу смертельного яда. Или по какой-то причине начнет психологически давить на пользователей — ведь AGI, обученный на огромном количестве данных, с такой задачей справится», — объясняет Котенков. Это все теоретические примеры, и их вероятности, скорее всего, малы, но сейчас не существует гарантий, что подобного не произойдет, добавляет он (больше сценариев того, как AGI может нас убить, описаны в схеме футуролога Алексея Турчина, а сами идеи взяты у все того же Юдковского).

Главная проблема заключается в том, что задать условия, при которых нейросети ни в каком случае не будут вредить человеку, нельзя, продолжает эксперт: «Непонятно даже, в каких терминах это можно сделать, как составить действительно исчерпывающий список правил, которые должна соблюдать модель. Но, даже если бы он был, мы не можем заставить нейросеть соблюдать его в 100% случаев. Это хорошо видно на примере той же GPT-4: сколько бы OpenAI не ограничивала ее, чтобы она не отвечала на провокационные вопросы, все еще остаются prompt (запросы для нейросети), при которых модель на них отвечает».

Именно из-за этой неспособности контролировать ситуацию человечество и может оказаться под угрозой, считают Юдковский и его последователи. Усугубляет ситуацию и то, что разработчики генеративных нейросетей пока не очень озабочены проблемой его защиты. На каждый доллар, потраченный на AI Alignment, приходятся сотни и тысячи долларов, потраченных на разработку, предупреждает исследователь: диспропорция слишком велика.

Однако экзистенциальные угрозы — не единственная потенциальная проблема, с которой предстоит столкнуться человечеству. Есть и куда более приземленные и прогнозируемые риски. Например, то, что уже в ближайшем будущем сотни миллионов людей во всем мире могут остаться без работы. Goldman Sachs оценил число занятых, на работу которых сильно повлияет ИИ, в 300 млн. Но положительное долговременное влияние технологий на мировой ВВП, по прогнозу аналитиков, составит 7%. В США и ЕС замене ИИ в той или иной степени поддаются функции 70% занятых. Самая большая доля заменимых функций — в управлении, офисе и разработке, минимальная — в ремонте, строительстве и уборке.

Впрочем, старое правило прорывных технологий — пропавшие рабочие места замещают созданные ими новые — тоже должно работать. Например, Bloomberg пишет, что prompt engineers — люди, научившиеся стимулировать языковые модели ИИ типа GPT-4 к выдаче интересного или релевантного контента, уже зарабатывают от $15 тысяч в месяц.

Среди других потенциальных проблем, которые ИИ несет устоявшимся рынкам и сферам, — угроза системе образования. В мире, где с помощью ChatGPT за пару часов уже пишут рефераты и дипломы, устоявшийся подход к обучению работать вряд ли будет, считает Волхонский. Также все еще большой проблемой остаются ошибки нейросетей: кто виноват и что делать со все большим числом фейков, которые будут плодить ИИ-сервисы, пока непонятно.

Но при всех опасностях неконтролируемого развития ИИ даже заморозить разработки получится едва ли и уж точно не во всем мире: соблазн для нарушителя моратория, будь то государство или компания, попросту слишком велик. Потенциал ИИ сравнивали с освоением ядерной энергии, которое дало человечеству и АЭС, и атомную бомбу.

Россию ждет еще больший набор проблем, чем ее конкурентов по разработке ИИ, говорят эксперты. Хотя в стране есть разработчики нейросетей — например, «Яндекс» или «Сбер» — догнать конкурентов из OpenAI у них вряд ли получится. У «Яндекса» сейчас обучена модель, схожая с той, что была у OpenAI в 2020 году, говорит Котенков. Скорее всего, компания разрабатывает и аналог модели 2022 года, но результатов пока нет — по крайней мере публичных.

Но теперь из-за войны в России уже не купить передовые графические процессоры (GPU), необходимые для обучения нейросетей. Это не значит, что нужного железа в России нет в принципе — просто у конкурентов есть доступ к процессорам, на которых обучать нейросети можно в 5–6 раз быстрее. А учитывая, что OpenAI показали тренд на закрытость исследований и другие разработчики могут начать поступать так же, то и использовать их опыт российские компании тоже больше не смогут.

Отдельная проблема в том, что OpenAI уже закрыла доступ к своим сервисам пользователям и компаниям из России. Это не значит, что получить доступ к ChatGPT в России невозможно в принципе, но возможность строить сервисы с помощью нейросетей американской компании в стране будет ограничена.

ОНЛАЙН-РАССЛЕДОВАНИЕ

Как не стать жертвой телефонной прослушки

Одна из самых обсуждаемых тем недели — слитая в сеть аудиозапись предполагаемого телефонного разговора продюсера Иосифа Пригожина с бизнесменом, экс-сенатором Фархадом Ахмедовым, где они с использованием нецензурной лексики критикуют Владимира Путина и российские элиты за развязанную в Украине войну. Пригожин назвал запись фейком, но в этом есть большие сомнения. В этом выпуске рубрики «Онлайн-расследование» рассказываем, что стало понятно о слитом разговоре, как работает прослушка в России и можно ли ее избежать.

🔎 Большая часть журналистских расследований основана на открытых данных. В рубрике «Онлайн-расследование» мы рассказываем о методах расследования в сети, доступных каждому. Мы хотим показать, как с их помощью вы сами можете проверить любую сомнительную информацию. Тренироваться можно с помощью наших «домашних заданий», а отправлять пожелания по темам на будущее — автору рубрики, специальному корреспонденту The Bell Ирине Панкратовой.

РАСПОЗНАВАНИЕ ЛИЦ

​​Основатели NtechLab рассказали о своем уходе из России

Инженер Артем Кухаренко и политолог и инвестор Александр Кабаков, основатели стартапа по распознаванию лиц NtechLab, рассказали Reuters, как решили выйти из бизнеса и покинуть Россию. Перед этим агентство опубликовало материал о том, как российские власти используют технологию распознавания лиц для задержания протестующих и оппозиционеров.

The Bell подробно рассказывал, как NtechLab начал работать на государство, а его основатели решили взять в партнеры госкорпорацию «Ростех», еще в 2018 году. «Мы понимали, что в России у нас почти нет конкурентов, а сама технология — очень перспективна для госзаказчиков, — объяснял тогда The Bell один из основателей NtechLab. — Но для старта хорошо было бы иметь сильного партнера, к которому можно было бы прислониться». «Прислониться» к «Ростеху» помогли личные связи.

Александр Кабаков, по образованию политолог, в 2012 году его агентство участвовало в президентской кампании Михаила Прохорова, а на последних выборах президента в 2018 году в качестве вице-президента Mail.Ru Group Кабаков занимался всем, что касалось их продвижения во «ВКонтакте». Его кабинет в компании даже в шутку называли филиалом администрации президента. Кабаков был хорошо знаком с бывшим главой «Апостол Медиа», а с 2013 года — главным пиарщиком «Ростеха» Василием Бровко (о нем мы рассказывали в недавнем расследовании о Telegram). Тот рассказал о стартапе и перспективной технологии главе корпорации Сергею Чемезову. У «Ростеха» «совсем другие лоббистские возможности», объяснял выбор стратегического инвестора один из близких к NtechLab собеседников The Bell: в самых сложных тендерах можно по крайней мере добиться, чтобы никому никакие преференции не отдавались. Позднее у NtechLab появились и другие государственные инвесторы. CNews писал, что Кабаков и Кухаренко потеряли контрольный пакет NtechLab в 2020 году после продажи части компании эмиратскому инвестфонду Mubadala и РФПИ, а блокирующий — уже в следующем году.

После 24 февраля Кабакова и Кухаренко внесли в «Список 6000» Фонда борьбы с коррупцией за сотрудничество с российскими властями (на тот момент они оба в компании уже не работали). Чтобы выйти из списка ФБК, они передали соратникам Алексея Навального информацию об NtechLab. После этого основателей компании удалили из списка, но вскоре вернули обратно. ФБК посчитал, что их «раскаяние не было достаточно публичным», а предоставленная информация «не сопоставима по значимости с их вкладом в построение полицейского государства».

Reuters основатели стартапа рассказали, что обдумывать отъезд из России начали после отравления Алексея Навального в 2020 году. «Стало понятно, что страна идет к катастрофе, но никто и подумать не мог, что она начнет войну», — говорит Кухаренко. По их версии, поводом для выхода основателей из бизнеса в России стали разногласия с менеджментом: основатели настаивали на прекращении работы в России и релокации сотрудников, менеджмент — на сохранении офиса. «Большинство акционеров поддержали менеджмент, нам оставалось только уволиться», — уточнил Кухаренко. Один из основателей покинул Россию в декабре 2021 года, второй — в марте 2022-го. Знакомый Кабакова в нашем недавнем расследовании утверждал, что тот решил уехать из России после того, как руководителя другой сотрудничающей с госструктурами технологической компании Group-IB Илью Сачкова арестовали по обвинению в госизмене.

READ LATER

• И еще немного пугающих историй об ИИ: женщина из Бельгии утверждает, что ее муж покончил с собой после того, как шесть недель общался с чат-ботом
• На этой неделе стали известны даты WWDC 2023 — ежегодной конференции Apple для разработчиков. Она пройдет 5–9 июня. И на ней, помимо новых операционных систем, могут показать долгожданную гарнитуру смешанной реальности. Однако подготовка к презентации, судя по всему, идет не гладко: из-за гарнитуры в Apple случился редкий для нее разлад: все больше сотрудников сомневаются, что этот продукт вообще имеет смысл для компании.
• А вот история о том, как ошибки в работе систем распознавания лиц и других технологий, призванных улучшить работу правоохранительных органов, приводят к ложным арестам и неправомерным обвинениям.

​​ОСТАВАЙТЕСЬ С НАМИ

Подпишитесь на донаты The Bell

Уничтожение неподцензурных медиа, блокировки сайтов, законы об иноагентах и нежелательных организациях — все это тоже приметы нашего времени. Нам кажется важным, чтобы честная журналистика дожила до лучших времен. Пожалуйста, подпишитесь на донаты — особенно если вы находитесь не в России. Помогая нам, вы помогаете сотням тысяч наших читателей в России сохранять доступ к независимой информации.