Первый ИИ, угрожающий человечеству, греки бросают российскую нефть, а ОАЭ — российские деньги

Журналисты уже шестой день пытаются выяснить, что так напугало совет директоров компании-разработчика ИИ OpenAI, что они решили пойти на рискованную (и в итоге провалившуюся) операцию с увольнением Сэма Альтмана. Reuters, похоже, приблизился к разгадке — как выяснило агентство, первопричиной оказались опасения разработчиков по поводу того, что новая модель ИИ всерьез угрожает человечеству.

• Незадолго до увольнения Альтмана несколько разработчиков OpenAI написали совету директоров письмо о том, что разрабатываемая компанией новая модель ИИ — Q* (Кью-стар) — всерьез угрожает человечеству. Это письмо стало одним из решающих факторов неожиданного поступка совета директоров, инспирированного главным научным сотрудником OpenAI Ильей Суцкевером. Письмо легло на подготовленную почву — членов совета давно беспокоили данные о том, что СЕО OpenAI занимается коммерциализацией прорывных продуктов без понимания последствий.
• Многие в OpenAI считают, что Q* похож на решающий прорыв к настоящему AGI (Artificial general intelligence) — «универсальному искусственному интеллекту», пишет Reuters. Обычно под этим термином понимается гипотетически возможный автономный ИИ, способный выполнять любые интеллектуальные задачи, подвластные человеку. Именно создание AGI — одновременно главная конечная цель разработчиков ИИ и главный потенциальный риск, который эта отрасль создает для человечества.
• Q* способен решать незнакомые математические задачи, пусть пока и на школьном уровне, — то есть отыскивать единственный правильный ответ. Именно это, а в широком смысле — способность отличать истину от лжи, оставалось фундаментальным барьером для нынешней лингвистической модели GPT. Это подразумевает возможность самообучения и саморазвития на самостоятельно полученных данных. Если OpenAI действительно этого добилась, на пути ИИ к AGI потенциально снят еще один барьер — коллапс языковой модели при обучении на ИИ-контенте. Действительно, авторы письма указали на другой проект компании — «AI scientist», посвященный созданию исследовательского ИИ.
• Очень похоже, что именно эти проекты Альтман имел в виду, когда на саммите АТЭС в Сан-Франциско говорил, что пару недель назад вновь «присутствовал при событии, поднимающем завесу невежества и сдвигающем границы знания» (здесь можно прочитать расшифровку того выступления). На следующий день его уволили, но уже через четыре дня Альтман триумфально вернулся в компанию под давлением сотрудников и главного акционера — Microsoft.

Чего мы не узнали

Конспирологическая версия о том, что внезапное увольнение Альтмана объясняется тем, что совет директоров OpenAI пережил «момент Оппенгеймера» (по имени создателя атомной бомбы — момент, когда изобретатель осознает, какую угрозу человечеству несет его изобретение), появилась в первые дни после скандала в OpenAI. Но до статьи Reuters никаких прямых подтверждений этому не было.

До публикации Reuters не было известно даже о существовании Q* как модели ИИ (само название отсылает к теории машинного обучения). Но в остальном статья скудна на детали. Самое главное — в ней нет никакой информации относительно постановки решенных Q* математических задач, как и комментариев OpenAI. Без этого сказать, произошел ли реальный прорыв, невозможно. У коммерчески доступной GPT-4 тоже есть математические способности, обусловленные самой природой большой лингвистической модели (математика — это язык). Но выше школьной математики она не поднимается.

Насколько это опасно

Илон Маск, чья xAI недавно представила ИИ-чатбота Grok, назвал статью Reuters «крайне беспокоящей». Маск давно считает неконтролируемый AGI большой и реальной угрозой человечеству. Соучредитель ИИ-стартапа Anthropic (чатбот Claude) Джек Кларк еще в начале года предупредил, что ИИ стали развиваться темпом быстрее экспоненциального. «Другими словами, в ближайшие годы нас ждет прогресс, который невозможно даже осознать на интуитивном уровне», — считает он.

То, что человек неправильно оценивает нелинейный, а особенно экспоненциальный рост, известно давно и хорошо. В ИИ это может привести к ситуации «сегодня рано, завтра поздно», когда удобный инструмент ChatGPT породит «сверхразум».

Один из основателей OpenAI и ее главный научный сотрудник Илья Суцкевер, который инициировал увольнение Альтмана, но в итоге сам был вынужден покинуть совет директоров, недавно сказал, что AGI «будет иметь огромное и невероятное влияние на каждую сферу человеческой деятельности». Он считает создание AGI умнее человека достижимой целью, но предупреждает, что такой ИИ никогда не должен захотеть действовать самостоятельно.

Что мне с этого?

В чем опасность AGI, The Bell объяснял еще когда на сцену только выходил ChatGPT c GPT 3.5. Вкратце — дело не в какой-то злонамеренности ИИ, а в том, что он способен в совершенстве, и контринтуитивно для человека, выполнить некорректно поставленную или неочевидно вредоносную задачу. Как вообще работают большие языковые модели, мы популярно писали здесь, а чем так хорош GPT 4 — здесь.

ДЕНЬГИ

ОАЭ разлюбили российские деньги

Банки ОАЭ под давлением США ужесточают контроль над российскими компаниями, пишет Bloomberg со ссылкой на бизнесменов и консультантов, ведущих дела в стране. Участились отказы в открытии счетов, а переводы подвергаются более тщательной проверке, занимают больше времени, а иногда блокируются до предоставления документальных обоснований и подтверждения происхождения средств. Это касается как репатриации денег в Россию, так и вывода в третьи страны.

Первоначально после российского вторжения в Украину ОАЭ благожелательно относились к клиентам из России и за счет этого привлекли в страну деньги тысяч богатых россиян. Но в последние месяцы власти страны поставили себе цель выбраться из «серого списка» Группы разработки финансовых мер борьбы с отмыванием денег (FATF) и для этого ужесточают санкционный комплаенс. Одновременно давление на ОАЭ усилили США, ЕС и Великобритания. Несколько эмиратских компаний оказались в последнем санкционном списке американского Минфина за несоблюдение потолка цен на российскую нефть.

САНКЦИИ

Греки разлюбили российскую нефть

Три крупных греческих морских перевозчика отказались от транспортировки российской нефти, узнал Reuters. Речь о компаниях Minerva Marine, Thenamaris and TMS Tankers, на троих владеющих флотом почти из 100 танкеров. Эти фирмы перевозили российскую нефть десятилетиями и, в отличие от большинства европейских перевозчиков, продолжали делать это до сентября-октября 2023 года. Отказ также последовал за американскими санкциями (1, 2) против турецких и эмиратских владельцев танкеров, перевозивших российскую нефть, проданную по цене выше потолка (это уточнение, впрочем, излишне — в октябре поставок ниже потолка уже вообще почти не было). Уход греков станет ударом по российскому нефтяному экспорту, хотя мощностей «теневого флота» пока хватает для его обеспечения, говорят опрошенные Reuters трейдеры.

СИГНАЛЫ

Новые иноагентские штрафы

Минюст планирует штрафовать телеканалы, библиотеки и другие организации за распространение материалов иноагентов без маркировки на 300–500 тысяч рублей, заявил сегодня курирующий иноагентскую тему замминистра юстиции Олег Свириденко. Откуда взялась цифра 500 тысяч, непонятно — принятый в этом году закон ограничивает штрафы за невыполнение «иноагентских» указаний Минюста 300 тысячами. Впрочем, в изложении Свириденко штраф — только «на первое время». «Потом мы можем дойти до дальнейшего развития этого института», — туманно пообещал он.

Что еще происходит

• В разделе «Яндекса» обновление схемы. По данным Forbes, у российской части будет скрытая группа инвесторов, а в главных ролях выступят владелец «Авито» Иван Таврин и миллиардер Владимир Потанин.
• Перемирие между Израилем и «Хамасом» должно начать действовать в пятницу утром, объявил главный посредник, Катар. Тогда же должна быть освобождена первая партия из 13 израильских заложников. Израильские военные тем временем уже готовятся к продолжению войны после перемирия — министр обороны Йоав Галлант сегодня заявил, что не сомневается в том, что боевые действия возобновятся и займут не меньше двух месяцев.
• Кризис с беженцами из ближневосточных стран на российско-финской границе (по всем признакам организованный Россией по примеру Александра Лукашенко двухлетней давности) набирает обороты. Власти Мурманской области сегодня объявили, что накануне группа мигрантов попыталась незаконно прорваться в Финляндию. Евросоюз в ответ усиливает охрану финской границы (правда, пока только 50 пограничниками).