Создатели ИИ удивлены тем, как думают их модели — FT

НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+

Современные большие языковые модели по определению являются нейросетевыми «черными ящиками». Их внутренние процессы неочевидны или даже практически непознаваемы, а спросить ИИ о том, как они получают результат, это по сути то же самое, что попросить человека составить карту собственных синапсов. Тем не менее все ведущие разработчики пытаются понять, что происходит внутри на самом деле, и получают интересные результаты с помощью анализа «цепочек мыслей» (chains of thought, CoT) пишет Financial Times.

Интеллект в пространстве смыслов

ИИ-стартап Anthropic (языковая модель Claude) адаптировал не только CoT, но и инструменты нейропсихологии, чтобы выявить «интерпретируемые концепции» внутри ИИ. Основные выводы:

  • ИИ способен «думать» на языке. Но это не естественный язык, а общее концептуальное пространство смыслов — «язык мысли». Это означает, что модель может узнать что-то новое на одном естественном языке и свободно выдать результат на любом другом.
  • ИИ, задуманный как очень продвинутая машина предсказания следующего слова в тексте, уверенно преодолел эти пределы. Когда модель пишет стихи, она имеет в виду далекую рифму и подбирает под нее текущее слово.
  • ИИ способен уходить от формальной логики и убедительно давать (неправильный) ответ, соответствующий ожиданиям человека.
  • Кроме того, оказалось, что лингвистическая модель знает арифметику вовсе не потому, что зазубрила таблицу умножения или аксиомы Пеано. Оказалось, что самое простое сложение внутри модели задействует совершенно экзотические пути рассуждения, но если спросить ее о том, как достигнут результат, она ответит примером из учебника. Это показывает, что у нее «в голове» собралась своя арифметика, а объяснение результата существует отдельно от нее, пишут ученые.

Исследование тем ценнее, что его выводы контринтуитивны — исследовали ожидали, что ИИ окажется простой предсказательной машиной, и не исключали, что внутри отдельно существует, например, «английский» или «китайский» ИИ. И внезапно выяснили, что предпосылки некорректного поведения модели — не в ее устройстве, а в заданном ей некорректном вопросе.

Почему это важно

OpenAI прямо называет мониторинг CoT «одним из немногих оставшихся инструментов контроля некорректного поведения сверхразумного ИИ в будущем» и предельно серьезно предостерегает разработчиков от их прямой оптимизации. Прежде всего потому, что анализ «чистой» CoT дает намного больше возможностей поймать некорректное поведение модели, чем просмотр конечных результатов. «Улучшение» способно такое поведение замаскировать.

В таком случае велик шанс получить ИИ типа «злонамеренного джинна», который будет всемерно эксплуатировать любые лазейки в поставленных задачах, а не совершать полезную работу. Исследователи OpenAI уже видели такое поведение у моделей, заточенных под написание программного кода.

Это особенно важно для ИИ-аватаров, выполняющих функции человека — от ответов на письма до трейдинга на бирже — за него самого. В Anthropic назвали такое поведение agentic misalignment: модели прибегали к обману, шантажу или даже утечкам информации конкурентам, когда не видели другого способа достижения цели. Причем они не подчинялись прямым командам избегать такого поведения и были больше склонны к misalignment, если считали задачу реальной, а не тестовой.

Скопировать ссылку

Почему российский бизнес зря перестал бояться санкций, что американцы разбомбили в Иране, Тиньков и Калви на канале Лизы Осетинской

К четвертому году войны российский бизнес окончательно перестал бояться санкций — в опросе руководителей российских компаний внешнеторговые ограничения и «геополитическая напряженность» не вошли даже в топ-3 главных рисков. К тому, что российская экономика успешно справляется с санкциями, кажется, все привыкли. Но на деле все не так просто.

«Жить надо сегодня». Олег Тиньков и Майкл Калви — о своих новых инвестициях после ухода из России

Олег Тиньков и Майкл Калви знакомы почти 30 лет, и за это время их судьбы не раз пересекались. Они оба пережили аресты (кстати, недавно Майкл выпустил книгу о том, как сидел в российском СИЗО), боролись с раком и почти одновременно были вынуждены отказаться от успешных бизнесов в России. Елизавета Осетинская (признана в РФ иноагентом) встретилась с ними в Форте-дей-Марми, чтобы поговорить об их новом проекте — мексиканском финтех-единороге Plata, в который вместе с партнерами Калви и Тиньков вложили около $300 млн. Сколько инвестиций нужно, чтобы быстро вырастить единорога, чем привлекателен рынок Латинской Америки, а также — о личных тратах Тинькова, сокамерниках Калви и уходе эпохи иностранных инвесторов из России. Целиком интервью смотрите на канале «Это Осетинская», а мы публикуем сокращенную версию.

Рассылки The Bell стали платными. Подписывайтесь!

НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+

В обход санкций и SWIFT. Как «Сбер» научился отправлять деньги клиентов в Европу

«Сбер» нашел лазейку для обхода отключенного SWIFT и санкций и наладил перевод денег в Европу по одному только номеру карты, узнал The Bell. Мы убедились в том, что схема, с помощью которой Сбербанк обещает клиентам отправлять за рубеж до полумиллиона рублей за одну операцию, работает. А еще — разобрались в том, как она устроена.