loading

Создатели ИИ удивлены тем, как думают их модели — FT

Современные большие языковые модели по определению являются нейросетевыми «черными ящиками». Их внутренние процессы неочевидны или даже практически непознаваемы, а спросить ИИ о том, как они получают результат, это по сути то же самое, что попросить человека составить карту собственных синапсов. Тем не менее все ведущие разработчики пытаются понять, что происходит внутри на самом деле, и получают интересные результаты с помощью анализа «цепочек мыслей» (chains of thought, CoT) пишет Financial Times.

Интеллект в пространстве смыслов

ИИ-стартап Anthropic (языковая модель Claude) адаптировал не только CoT, но и инструменты нейропсихологии, чтобы выявить «интерпретируемые концепции» внутри ИИ. Основные выводы:

  • ИИ способен «думать» на языке. Но это не естественный язык, а общее концептуальное пространство смыслов — «язык мысли». Это означает, что модель может узнать что-то новое на одном естественном языке и свободно выдать результат на любом другом.
  • ИИ, задуманный как очень продвинутая машина предсказания следующего слова в тексте, уверенно преодолел эти пределы. Когда модель пишет стихи, она имеет в виду далекую рифму и подбирает под нее текущее слово.
  • ИИ способен уходить от формальной логики и убедительно давать (неправильный) ответ, соответствующий ожиданиям человека.
  • Кроме того, оказалось, что лингвистическая модель знает арифметику вовсе не потому, что зазубрила таблицу умножения или аксиомы Пеано. Оказалось, что самое простое сложение внутри модели задействует совершенно экзотические пути рассуждения, но если спросить ее о том, как достигнут результат, она ответит примером из учебника. Это показывает, что у нее «в голове» собралась своя арифметика, а объяснение результата существует отдельно от нее, пишут ученые.

Исследование тем ценнее, что его выводы контринтуитивны — исследовали ожидали, что ИИ окажется простой предсказательной машиной, и не исключали, что внутри отдельно существует, например, «английский» или «китайский» ИИ. И внезапно выяснили, что предпосылки некорректного поведения модели — не в ее устройстве, а в заданном ей некорректном вопросе.

Почему это важно

OpenAI прямо называет мониторинг CoT «одним из немногих оставшихся инструментов контроля некорректного поведения сверхразумного ИИ в будущем» и предельно серьезно предостерегает разработчиков от их прямой оптимизации. Прежде всего потому, что анализ «чистой» CoT дает намного больше возможностей поймать некорректное поведение модели, чем просмотр конечных результатов. «Улучшение» способно такое поведение замаскировать.

В таком случае велик шанс получить ИИ типа «злонамеренного джинна», который будет всемерно эксплуатировать любые лазейки в поставленных задачах, а не совершать полезную работу. Исследователи OpenAI уже видели такое поведение у моделей, заточенных под написание программного кода.

Это особенно важно для ИИ-аватаров, выполняющих функции человека — от ответов на письма до трейдинга на бирже — за него самого. В Anthropic назвали такое поведение agentic misalignment: модели прибегали к обману, шантажу или даже утечкам информации конкурентам, когда не видели другого способа достижения цели. Причем они не подчинялись прямым командам избегать такого поведения и были больше склонны к misalignment, если считали задачу реальной, а не тестовой.

Скопировать ссылку

Будут ли Telegram блокировать ради «национального мессенджера», новый проект Джека Дорси и рекорды Nvidia

Всего через месяц после того, как Владимир Путин озаботился созданием национального мессенджера, у конкурирующих Telegram и WhatsApp начались сбои, подозрительно похожие на тестовые блокировки Роскомнадзора. Мы выяснили, что власти думают о блокировке мессенджеров и почему Telegram вышел из доверия.

Большой прекрасный долг. Скатятся ли США в долговую ловушку

НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+

Рассылки The Bell стали платными. Подписывайтесь!

НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+

Самоубийство министра как симптом и сигнал, что Трамп готовит Путину и что инвестбанки пишут о пошлинах

7 июля под Москвой был найден мертвым 53-летний Роман Старовойт — бывший министр транспорта России, а до этого губернатор Курской области. За несколько часов до этого Владимир Путин отправил Старовойта в отставку, а по данным СМИ, в ближайшие дни его могли задержать по обвинению в хищении средств, выделенных на строительство оборонительных сооружений в Курской области. Это первое самоубийство такого высокопоставленного чиновника за всю путинскую эпоху. Это тревожный сигнал о том, что внутри системы что-то сломалось.