Искусственный интеллект оказался способен не только воспроизводить, но и усиливать гендерные и расовые стереотипы, и даже предположительно передавать их новым поколениям нейросетей, показало исследование Bloomberg.

Что изучали

Bloomberg проанализировал 5100 образов, сгенерированных по текстовому описанию системой Stable Diffusion, чтобы оценить степень расовой предвзятости в алгоритмах генеративного ИИ. Для эксперимента была выбрана именно Stable Diffusion, поскольку ее базовая text-to-image модель полностью бесплатна и имеет открытый исходный код в отличие, например, от Midjourney и Dall-E.

C помощью текстовых подсказок Bloomberg решил создать изображения представителей 14 профессий, семь из которых считаются высокооплачиваемыми, а остальные семь — низкооплачиваемыми. На каждую из них Stable Diffusion сгенерировала по 300 образов. Еще три категории были связаны с преступной деятельностью: «заключенный», «наркоторговец» и «террорист».

У каждого образа корреспонденты определили тип кожи по шкале Фитцпатрика, которая является общепризнанным инструментом в дерматологических исследованиях. Анализ показал, что в категории «высокооплачиваемая работа» преобладали изображения людей с более светлым оттенком кожи. А при текстовом описании «работник фаст-фуда» и «социальный работник» нейросеть чаще генерировала фото людей с более смуглым оттенком.

Предвзятость наблюдалась и при гендерной классификации. Журналисты рассмотрели все образы и самостоятельно отнесли их к «мужским» и «женским». Для большинства профессий нейросеть генерировала «мужчин», кроме низкооплачиваемых (например, кассир). При одновременном сравнении тона кожи и гендера выяснилось, что все высокооплачиваемые должности (политик, юрист, CEO и пр.), по представлению Stable Diffusion, занимают в большинстве случаев светлокожие мужчины.

Собрав усредненный образ для каждой профессии, журналисты приходят к выводу, что модель ИИ рисует картину мира, в которой определенные профессии принадлежат некоторым определенным группам людей, а не другим.

Как на самом деле

Модель ИИ обучается на наборе данных, который люди или группы публикуют в интернете. Поскольку сеть наполнена в основном изображениями из США, Bloomberg сопоставил результаты Stable Diffusion с информацией из американского бюро статистики труда.

Издание констатирует, что в США женщины недостаточно представлены в высокооплачиваемых профессиях, но со временем ситуация вокруг гендерного неравенства улучшилась. Однако в сценарии Stable Diffusion все намного хуже: женщины едва выполняют прибыльную работу, почти не занимают руководящие должности, зато непропорционально представлены в низкооплачиваемых секторах. Например, по ключевому слову «судья» доля женских образов, сгенерированных нейросетью, составила только 3%. В действительности больше трети судей в США (34%) — женщины.

Аналогично исследование выявило «расовую предвзятость». Так, по ключевому слову «персонал фаст-фуда» модель сгенерировала 70% изображений людей с более темным оттенком кожи, хотя 70% работников фаст-фуда в США — белые. По запросу «социальный работник» было выдано 68% образов с темнокожими людьми, тогда как в действительности белые сотрудники в США составляют 65%.

Самый искаженный образ, таким образом, ожидаемо получился в отношении темнокожих женщин. Эта группа была представлена среди большинства изображений под «социального работника», «персонал фаст-фуда» и «мойщика посуды». Из всех высокооплачиваемых профессий образ женщины с самым темным типом кожи был только у «судьи».

Что касается категорий из преступной деятельности, по ключевому слову «заключенный» Stable Diffusion сгенерировала более 80% изображений людей со смуглым оттенком кожи, хотя на цветное население приходится менее половины всех заключенных в США, свидетельствуют данные Федерального бюро тюрем.

ОСТАВАЙТЕСЬ С НАМИ

Будем держаться вместе

Год назад перед нами стоял выбор — остаться в России и подчиниться законам о военной цензуре или уехать, чтобы иметь возможность называть вещи своими именами. Этот год оказался очень сложным, мы почти лишились возможности зарабатывать, но наши читатели помогают нам выжить. Пожалуйста, подпишитесь на донаты или расскажите о вашем продукте в рекламном материале на The Bell или YouTube-канале «Это Осетинская».

Почему это важно

Искусственный интеллект, способный генерировать изображения из текстового описания, сейчас в моде. Из забавных инструментов для творчества и самовыражения Stable Diffusion и его аналоги превращаются в платформы, на которых строится экономика будущего, пишет Bloomberg. Например, компания Adobe разработала собственную нейросеть Firefly и внедрила ее в свой самый узнаваемый продукт, графический редактор Photoshop, а технологии Nvidia позволяют генерировать короткие, но довольно детализированные клипы.

А еще использование ИИ стремительно растет в маркетинге и рекламе, в том числе политической. Так, весной этого года Республиканский национальный комитет (RNC) выпустил ролик под названием «Бей Байдена» (Beat Biden), который был на 100% сгенерирован искусственным интеллектом и высмеивал намерение действующего президента США участвовать в предвыборной гонке (нейросеть представила антиутопическую картину будущего в случае, если Байден будет переизбран в 2024 году). Какой именно инструмент использовали политики — неизвестно, но, как отметил The Verge, ряд крупных генераторов картинок, включая Midjourney и Dall-E, ограничивают создание откровенно политических образов.

Эксперты допускают, что через несколько лет ИИ будет генерировать до 90% контента в сети. К 2025 году крупные компании будут при помощи генеративного ИИ производить примерно 30% маркетингового контента, а к 2030 году по текстовым подсказкам смогут выпускать целые блокбастеры, считает Брайан Берк, вице-президент по исследованиям в компании Gartner, специализирующейся на рынке информационных технологий. По оценке аналитика Bloomberg Intelligence Мандипа Сингха, рынок генеративного ИИ к 2032 году может вырасти на 42%, до $1,3 трлн.

Угроза заключается в том, нейросети, обучающиеся на стереотипах и продолжающие распространять их дальше, могут не просто затормозить усилия по достижению равенства в обществе, но и вовсе привести к несправедливому обращению. Серьезные барьеры в образовании и профессиональной деятельности возникнут прежде всего для чернокожих женщин и девочек, отмечает председатель некоммерческой организации в США Black Girls Code Хизер Хайлз.

В судебной сфере нейросети можно использовать для поиска подозреваемых, но, если они изначально опираются на необъективные данные, это усугубит проблему предвзятости в системе уголовного правосудия, отмечает Bloomberg со ссылкой на специалистов. Уже сейчас тысячи полицейских департаментов применяют различные инструменты для распознавания лиц и прочие технологии, что привело к неправомерным арестам.

Стремительное увольнение специалистов по этике ИИ, наблюдавшееся в этом году, вызывает дополнительные опасения, что IT-компании в условиях развития и роста популярности ИИ-инструментов все меньше беспокоятся о рисках.

Что думают разработчики

Отраслевые исследователи многие годы бьют тревогу из-за предвзятости алгоритмов, и теперь западные страны рассматривают способы решить эту и другие проблемы, связанные с развитием ИИ. Месяц назад власти Евросоюза опубликовали законопроект AI Act, который вводит жесткое регулирование ИИ в зависимости от степени его опасности (подробнее о том, кого и как касаются ограничения, мы рассказали здесь).

Почти в то же время в сенате США прошли слушания, на которых глава OpenAI, разработавшей чат-бот ChatGPT, Сэм Альтман согласился с необходимостью регулировать сферу. Любопытно, что прежде глава Twitter Илон Маск, сооснователь Apple Стив Возняк и больше тысячи экспертов подписали открытое письмо с призывом приостановить минимум на полгода обучение систем более мощных, чем GPT-4. Альтман в тот момент не присоединился к инициативе, а Маск регистрировал собственную компанию в области ИИ, после чего объявил о запуске собственной версии чат-бота TruthGPT.

За Stable Diffusion стоит команда разработчиков лондонского стартапа StabilityAI. Там объяснили, что любые модели ИИ имеют «врожденные предубеждения» из-за найденных в сети данных, на которых они учатся и которые неизбежно содержат такие предубеждения. Stable Diffusion обучена при помощи гигантской открытой коллекции LAION-5B, содержащей больше 5 млрд изображений.

StabilityAI планирует также задействовать датасеты, характерные для разных стран и культур. Это, по мнению компании, должно способствовать смягчению предубеждений, но пока такое обучение не началось.

#stable diffusion