Загадочный Q* от OpenAi, стратегия слежки от Минцифры и как искать в LinkedIn

Тема выпуска — что известно о Q*, искусственном интеллекте, угрожающем человечеству

Этот материал был написан специально для технорассылки The Bell. Подписаться на нее можно здесь.

Драма вокруг OpenAI формально подошла к концу: Сэм Альтман вернулся в компанию, Илья Суцкевер, инициировавший его увольнение, покинул совет директоров, а сама компания сменит систему управления. Но вопрос о том, почему вообще Суцкеверу и другим членам совета директоров понадобилось таким жестким образом увольнять одного из основателей самой перспективной компании мира, остается открытым. Понятно только, что суть разногласий, похоже, действительно была вокруг безопасности разрабатываемых OpenAI технологий. Разбираемся, что известно об «ИИ, угрожающем человечеству» и скоро ли появится нейросеть, которая превзойдет человека по интеллекту.

Угроза человечеству

После того как несостоявшийся переворот в OpenAI завершился победой Сэма Альтмана, журналисты попытались выяснить, что все-таки могло так сильно напугать совет директоров, что он решил пойти на крайние меры.

Одну из самых свежих версий представило агентство Reuters. По его информации, незадолго до увольнения Альтмана несколько разработчиков OpenAI написали совету директоров письмо о том, что новая модель ИИ — Q* (Ку-стар) якобы всерьез угрожает человечеству (однако найти само письмо журналистам не удалось).

Обеспокоенные сотрудники OpenAI посчитали, что Q* уже похож на решающий прорыв к настоящему AGI (универсальный искусственный интеллект), потому что он мог решить незнакомые математические задачи — хотя и всего лишь на школьном уровне. Эта способность подразумевает возможность самообучения и саморазвития на самостоятельно полученных данных. Если OpenAI действительно этого добилась, на пути ИИ к AGI потенциально снят еще один барьер — коллапс языковой модели при обучении на ИИ-контенте. Действительно, авторы письма указали на другой проект компании — «AI scientist», посвященный созданию исследовательского ИИ.

Кроме того, похоже, что именно эти проекты Альтман имел в виду, когда на саммите АСЕАН в Сан-Франциско говорил о некоем новом прорыве OpenAI. «Четыре раза за всю историю OpenAI, и последний раз был вот несколько недель назад, я присутствовал в комнате, когда мы как бы отодвигаем завесу невежества и сдвигаем границу открытий. Сделать это — профессиональная гордость на всю жизнь», — сказал тогда Альтман (здесь можно прочитать расшифровку всего выступления).

Загадочный Q*

Проблема в том, что статья Reuters скудна на детали. В ней нет ни информации о постановке решенных Q* математических задач, ни комментариев OpenAI. Без этого сказать, произошел ли реальный прорыв, невозможно: у коммерчески доступной GPT-4 тоже есть математические способности, обусловленные самой природой большой лингвистической модели (математика — это язык). Но выше школьной математики она не поднимается.

Однако проект Q*, судя по всему, действительно существует — это во внутреннем письме для сотрудников подтвердила CTO OpenAI Мира Мурати. Но вот другие сообщения СМИ она никак не комментировала. Так что, чему конкретно посвящен этот проект, мы точно не знаем. Однако есть намеки. Например, само название. Q* может относиться к Q-обучению. То есть к методу обучения нейросетей с подкреплением, при котором ИИ учится находить оптимальные решения сам. Этот подход отличается от того, который OpenAI использовала раньше, — обучение с обратной связью от человека (Reinforcement Learning from Human Feedback или RLHF).

Отдельные вопросы вызывает формулировка о том, что неназванных исследователей обеспокоила способность Q* решать математические задачи на уровне младшей школы, говорит Head of AI Unleashing.AI и автор телеграм-канала «Сиолошная» про машинное обучение Игорь Котенков. Исследователям уже удавалось обучить модель решать куда более сложные задачи. Так, в конце мая группа ученых, среди которых был и Илья Суцкевер, опубликовала научную статью «Let’s Verify Step by Step», которая демонстрировала, что большая языковая модель способна решать математические задачи гораздо более высокого уровня.

В целом речь в статье шла как раз об обучении больших языковых моделей по другому методу: с помощью не «надзора за результатом», а «надзора за процессом». При надзоре за результатами модели оцениваются только по итоговым результатам их цепочки мысли. В отличие от этого, при надзоре за процессом модели получают обратную связь на каждом шаге их цепочки рассуждений. Это дает нейросети более точную обратную связь, позволяя выявлять ошибки сразу.

Что конкретно в этой связи могло встревожить исследователей внутри OpenAI настолько, что они решились отдельно предупреждать об этом совет директоров (в который также входил Илья Суцкевер, главный ученый компании), — все еще тайна. В сообществе разработчиков встречаются разные версии, говорит Котенков. Одна из любопытных, ничем, однако, не подтвержденная, в том, что для обучения большой модели нужны десятки миллионов долларов. Поэтому обычно разработчики сначала ставят эксперименты на маленьких версиях, а потом их результаты экстраполируют, чтобы предсказать качество большой. Так что, возможно, ученых обеспокоило то, что пробная модель показала слишком хорошие результаты, а OpenAI решила запускать большую. Но, конечно, это просто спекуляции, напоминает эксперт.

Задача со звездочкой

Почему вообще важно, умеет ли нейросеть решать математические задачи? При том что тот же ChatGPT уже, например, успешно сдавал университетский экзамен на врача и юриста? Дело в том, что способность решать математические задачи напрямую связана с «reasoning» (рассуждение) нейросетей — то есть со способностью анализировать информацию, делать выводы и решать проблемы, говорит Котенков. Развитие навыка решать математические задачи сделает модели в целом гораздо более способными, снизив уровень ошибок и галлюцинаций. А это откроет новые возможности для самых разных областей: нейросети смогут стать агентами, которым можно будет просто поставить задачу, а выполнять ее, благодаря хорошей способности к рассуждению, они уже будут сами.

Кроме того, способность точно решать математические задачи могла бы приблизить OpenAI к исполнению миссии, ради которой компания и создавалась, — создать AGI, общий искусственный интеллект, который сможет автоматизировать интеллектуальный труд, говорит эксперт.

Однако, чтобы сделать это, сначала надо решить проблему AI Safety. Сейчас мы не можем быть уверены, что сможем контролировать такой алгоритм и избегать его использования опасным для человека способом. Но, чтобы решить эту проблему, нужны специфические кадры — специалисты по безопасности, и в частности AI Alignment, а их очень мало — сильно меньше тех, кто умеет делать новые нейронки. Так что прямо сейчас компания, точно так же, как и ее конкуренты, пытается создать модель, которая могла бы стать эквивалентом одному исследователю необходимого уровня. Тогда, при наличии достаточного количества вычислительных мощностей, OpenAI сможет запустить одновременно хоть тысячи таких ИИ-исследователей. И это, возможно, существенно ускорит научное развитие в целом.

Но, чтобы это стало возможно, нужно, чтобы модель разбиралась в математике, логике и вычислениях. Пока что GPT-4 делает слишком много ошибок. Из ста задач разной сложности она может решить, условно, 70, а при повторном запуске — сделать ошибки в тех примерах, которые до этого решала правильно. И это большая проблема, объясняет эксперт: чтобы это получилось исправить, модели нужно научиться самой себя перепроверять, чтобы в случае ошибки переделывать вычисление.

И OpenAI уже работает в этом направлении — в июле компания официально объявила, что выделяет отдельную команду во главе с Суцкевером, цель которой — создать «roughly human-level automated alignment researcher» — исследователя Alignment примерно человеческого уровня. «Однажды вы проснетесь, и слух из новости станет правдой: появится модель, которая будет хотя бы частично (>50%) заменять одного ученого в лаборатории. С этих пор прогресс начнет двигаться гораздо быстрее — потому что нанять 100 ученых за день нельзя, а запустить 100500 моделей на кластере за день — можно», — рассуждал Котенков.

Непредсказуемый AGI

Но все же важно понимать, что мы не знаем, какие именно события привели к скандалу в OpenAI и были ли они связаны с появлением ИИ, который угрожает человечеству (подробнее о том, как разворачивались события, и об их возможных причинах мы писали здесь и здесь).

Однако о рисках, которые несет за собой появление AGI, действительно говорят многие исследователи и разработчики. «Мы не знаем ни одного ученого в этой сфере, у которого нет опасений», — объяснял на этой неделе предприниматель и инвестор Давид Либерман в специальном прямом эфире на YouTube-канале «Это Осетинская».

«Больше всего опасаются того, что [все потенциальные угрозы] даже невозможно предсказать», — говорит он. По словам предпринимателя, есть опасение, что скорость развития нейросетей будет экспоненциальной и не контролируемой человеком и это делает горизонт событий совершенно непланируемым.

Однако появление AGI — это не обязательное условие для того, чтобы нейросети могли навредить людям, говорит в том же эфире инвестор Николай Давыдов. Более того, уже существующих инструментов вполне достаточно, чтобы кому-то навредить. «GPT-4 уже лучше среднестатистического человека воспринимает информацию и аргументирует свою позицию», — объяснял свою точку зрения эксперт. Такую способность могут использовать и мошенники, и «тролли» — и это уже довольно страшно.

Но все-таки AGI, если (или когда) он появится, повлияет на человечество значительно сильнее. Правда, прямо сейчас у него нет единого общепринятого определения, и многие исследователи подразумевают под этим разные вещи, говорит Котенков. Точно так же разнятся и оценки того, как быстро AGI может появиться, — от нескольких лет до нескольких десятилетий.

В ноябре свою классификацию уровней развития AGI опубликовали исследователи из ИИ-лаборатории Google — DeepMind. Они выделили шесть уровней — от нулевого «No AI» до пятого «Superhuman». Сейчас мы, по мнению исследователей, находимся на первом уровне: здесь нейросети способны выполнять задачи на том же уровне или чуть лучше, чем человек, не являющийся специалистом в какой-либо области. Это как раз тот уровень, на котором находится нынешний ChatGPT и Bard, чат-бот от самой Google. Следующий уровень будет достигнут, когда модели смогут решать задачи лучше, чем 50% специалистов в своей области. Это все еще не суперинтеллект, который будет лучше любого человека в любой задаче, но все же уже серьезный сдвиг.

«Совершенно очевидно, что AGI будет иметь драматическое влияние на каждую сферу жизни», — объяснял в записанной 17 октября лекции для Ted Talks Илья Суцкевер, главный ученый OpenAI, возглавляющий команду «Superalignment», задача которой — сделать так, чтобы прогрессирующий ИИ не представлял угрозы для человека.

«Эта технология будет отличаться от тех, к которым мы привыкли, так как она сможет улучшаться самостоятельно. Возможно создание AGI, который будет заниматься разработкой следующего поколения AGI. Это напоминает быстрый технологический прогресс во время промышленной революции, когда материальное состояние человеческого общества быстро росло. С AGI такое может повторится, но за более короткие сроки. Есть опасения, что, если AGI станет очень мощным, он может захотеть действовать самостоятельно. При изучении всего позитивного потенциала AGI и всех его рисков возникает вопрос: куда все это ведет?» — задавался вопросом Суцкевер. И добавлял, что OpenAI и создавался, чтобы сделать так, чтобы «AGI никогда не захотел действовать самостоятельно».

СИГНАЛЫ

Всеобщая слежка от Минцифры

Министр цифрового развития Максут Шадаев предложил объединить на единой платформе региональные и частные системы видеонаблюдения. Министерство указывает, что сейчас только половина из 1,2 млн видеокамер, установленных за счет государства, подключены к централизованным системам в регионах, а доступа к частным камерам у регионов нет. К новой платформе предлагается подключать и те и другие, а также в обязательном порядке подъездные камеры. Цель — получить к 2030 году 5 млн камер в системе с распознаванием лиц. По мнению Минцифры, она позволит увеличить раскрываемость преступлений на 30%. Всего на это хотят потратить 12 млрд рублей — и это в разы меньше, чем 97 млрд, которые почти на такой же проект предлагало потратить МЧС. Правда, эксперты говорят, что затраты занижены в 5–6 раз.

Но все же проект не выглядит нереализуемым, а в текущей обстановке вполне может получить зеленый свет. Его суть проста: довести плотность видеонаблюдения во всей России (сейчас 0,8 камеры на 100 человек) минимум до московской (2,3 камеры на 100 человек), сделать это не только за счет госбюджета и заодно интегрировать распознавание лиц. В Москве система распознавания заработала с 2019 года и вполне эффективно использовалась для выявления не только скрывающихся от правосудия, но и гражданских активистов. О создавшей ее компании NtechLab подробно писал The Bell. Принудительная установка камер и интеграция своих систем в государственные, не говоря уже о риске утечек с общей платформы, выглядит неприятно для бизнеса, возможное включение в капремонт затрат на установку и подключение подъездных камер — для россиян.

ОНЛАЙН-РАССЛЕДОВАНИЕ

Как использовать LinkedIn для поиска информации

В начале декабря LinkedIn отчитался об 1 млрд пользователей, при этом 80% новых пользователей зарегистрированы не в США. Принадлежащая Microsoft соцсеть стремится закрепить за собой статус главной b2b-площадки для поиска сотрудников и уже добавила функции искусственного интеллекта для платных подписчиков. AI подсказывает, как изменить профиль, чтобы сделать его более конкурентоспособным, и определяет, насколько пользователь релевантен той или иной вакансии. В рубрике «Онлайн-расследование» журналист-расследователь The Bell Ирина Панкратова на этой неделе рассказывает про эти и другие полезные функции соцсети.

READ LATER

• Чем история CZ и Binance похожа на истории злодеев из фильмов про Джеймса Бонда и что будет с крупнейшей криптобиржей мира после соглашения с Минюстом США, в котором Чанпэну Чжао пришлось признать себя виновным.
• Как производитель чипов для Huawei — SMIC — превратил санкции США в китайскую историю успеха.
• Как живется модераторам в приложениях для знакомств Match Group, Grindr и Bumble: тревога, депрессии и панические атаки из-за работы с тревожным контентом.