ИИ, который всерьез угрожает человечеству. Чем Сэм Альтман так испугал директоров OpenAI

Потрясшее отрасль странное увольнение исполнительного директора OpenAI Сэма Альтмана впервые получило внятный мотив. Reuters узнал, что дело действительно в опасениях по поводу безудержного развития AGI — «универсального искусственного интеллекта».

Что случилось?

По информации агентства, незадолго до увольнения Альтмана несколько разработчиков OpenAI написали совету директоров письмо о том, что новая модель ИИ — Q* (Ку-стар) всерьез угрожает человечеству. Оно оказалось тем решающим грузом, что лег на чашу весов не в пользу Альтмана. Но и без него у совета были данные, что СЕО занимается коммерциализацией прорывных продуктов без понимания последствий.

• Многие в OpenAI считают, что Q* уже похож на решающий прорыв к настоящему AGI, пишет Reuters. Он может решать незнакомые математические задачи, пусть и на школьном уровне, — то есть отыскивать единственный правильный ответ. Именно это, а в широком смысле — способность отличать истину от лжи, оставалось фундаментальным барьером для нынешней лингвистической модели GPT.
• Это подразумевает возможность самообучения и саморазвития на самостоятельно полученных данных. Если OpenAI действительно этого добилась, на пути ИИ к AGI потенциально снят еще один барьер — коллапс языковой модели при обучении на ИИ-контенте. Действительно, авторы письма указали на другой проект компании — «AI scientist», посвященный созданию исследовательского ИИ.
• Очень похоже, что именно эти проекты Альтман имел в виду, когда на саммите АСЕАН в Сан-Франциско говорил, что пару недель назад вновь «присутствовал при событии, поднимающем завесу невежества и сдвигающем границы знания». На следующий день его уволили, но уже через четыре дня Альтман триумфально вернулся в компанию под давлением сотрудников и главного акционера — Microsoft.

Чего мы не узнали

Конспирологическая версия о том, что внезапное увольнение Альтмана объясняется «моментом Оппенгеймера» (полное осознание угрозы реальной атомной бомбы) в совете директоров OpenAI, появилась на прошлой неделе. До статьи Reuters никаких подтверждений этому не было.

До публикации не было известно даже о существовании Q* как модели ИИ (само название отсылает к теории машинного обучения), но в остальном статья скудна на детали. Самое главное — в ней нет никакой информации относительно постановки решенных Q* математических задач, как и комментариев OpenAI. Без этого сказать, произошел ли реальный прорыв, невозможно: у коммерчески доступной GPT-4 тоже есть математические способности, обусловленные самой природой большой лингвистической модели (математика — это язык). Но выше школьной математики она не поднимается.

Насколько это опасно

Илон Маск, чья xAI недавно представила ИИ-чатбота Grok, назвал публикацию Reuters «крайне беспокоящей». Маск давно считает неконтролируемый AGI большой и реальной угрозой человечеству. Соучредитель ИИ-стартапа Anthropic (чатбот Claude) Джек Кларк еще в начале года предупредил, что ИИ стали развиваться темпом быстрее экспоненциального. «Другими словами, в ближайшие годы нас ждет прогресс, который невозможно даже осознать на интуитивном уровне», — считает он.

То, что человек неправильно оценивает нелинейный, а особенно экспоненциальный рост, известно давно и хорошо. В ИИ это может привести к ситуации «сегодня рано, завтра поздно», когда удобный инструмент ChatGPT породит «сверхразум».

Один из основателей OpenAI и ее главный научный сотрудник Илья Суцкевер, который мог инициировать увольнение Альтмана, но в итоге сам был вынужден покинуть совет директоров компании, недавно сказал, что AGI «будет иметь огромное и невероятное влияние на каждую сферу человеческой деятельности». Он считает AGI умнее человека совершенно достижимой целью, но предупреждает, что такой ИИ никогда не должен захотеть действовать самостоятельно.

Читайте также: «Драматично, невероятно и почти фантастически». Что Илья Суцкевер из OpenAI думает о будущем искусственного интеллекта

Узнайте больше

В чем опасность AGI, The Bell объяснял еще когда на сцену только выходил ChatGPT c GPT 3.5. Вкратце — дело не в какой-то злонамеренности ИИ, а в том, что он способен в совершенстве, и контринтуитивно для человека, выполнить некорректно поставленную или неочевидно вредоносную задачу. Как вообще работают большие языковые модели, мы популярно писали здесь, а чем так хорош GPT 4 — здесь.