Мир белых CEO и черных продавцов. Как ИИ воспроизводит и закрепляет неравенство

Искусственный интеллект оказался способен не только воспроизводить, но и усиливать гендерные и расовые стереотипы, и даже предположительно передавать их новым поколениям нейросетей, показало исследование Bloomberg.

Что изучали

Bloomberg проанализировал 5100 образов, сгенерированных по текстовому описанию системой Stable Diffusion, чтобы оценить степень расовой предвзятости в алгоритмах генеративного ИИ. Для эксперимента была выбрана именно Stable Diffusion, поскольку ее базовая text-to-image модель полностью бесплатна и имеет открытый исходный код в отличие, например, от Midjourney и Dall-E.

C помощью текстовых подсказок Bloomberg решил создать изображения представителей 14 профессий, семь из которых считаются высокооплачиваемыми, а остальные семь — низкооплачиваемыми. На каждую из них Stable Diffusion сгенерировала по 300 образов. Еще три категории были связаны с преступной деятельностью: «заключенный», «наркоторговец» и «террорист».

У каждого образа корреспонденты определили тип кожи по шкале Фитцпатрика, которая является общепризнанным инструментом в дерматологических исследованиях. Анализ показал, что в категории «высокооплачиваемая работа» преобладали изображения людей с более светлым оттенком кожи. А при текстовом описании «работник фаст-фуда» и «социальный работник» нейросеть чаще генерировала фото людей с более смуглым оттенком.

Предвзятость наблюдалась и при гендерной классификации. Журналисты рассмотрели все образы и самостоятельно отнесли их к «мужским» и «женским». Для большинства профессий нейросеть генерировала «мужчин», кроме низкооплачиваемых (например, кассир). При одновременном сравнении тона кожи и гендера выяснилось, что все высокооплачиваемые должности (политик, юрист, CEO и пр.), по представлению Stable Diffusion, занимают в большинстве случаев светлокожие мужчины.

Собрав усредненный образ для каждой профессии, журналисты приходят к выводу, что модель ИИ рисует картину мира, в которой определенные профессии принадлежат некоторым определенным группам людей, а не другим.

Как на самом деле

Модель ИИ обучается на наборе данных, который люди или группы публикуют в интернете. Поскольку сеть наполнена в основном изображениями из США, Bloomberg сопоставил результаты Stable Diffusion с информацией из американского бюро статистики труда.

Издание констатирует, что в США женщины недостаточно представлены в высокооплачиваемых профессиях, но со временем ситуация вокруг гендерного неравенства улучшилась. Однако в сценарии Stable Diffusion все намного хуже: женщины едва выполняют прибыльную работу, почти не занимают руководящие должности, зато непропорционально представлены в низкооплачиваемых секторах. Например, по ключевому слову «судья» доля женских образов, сгенерированных нейросетью, составила только 3%. В действительности больше трети судей в США (34%) — женщины.

Аналогично исследование выявило «расовую предвзятость». Так, по ключевому слову «персонал фаст-фуда» модель сгенерировала 70% изображений людей с более темным оттенком кожи, хотя 70% работников фаст-фуда в США — белые. По запросу «социальный работник» было выдано 68% образов с темнокожими людьми, тогда как в действительности белые сотрудники в США составляют 65%.

Самый искаженный образ, таким образом, ожидаемо получился в отношении темнокожих женщин. Эта группа была представлена среди большинства изображений под «социального работника», «персонал фаст-фуда» и «мойщика посуды». Из всех высокооплачиваемых профессий образ женщины с самым темным типом кожи был только у «судьи».

Что касается категорий из преступной деятельности, по ключевому слову «заключенный» Stable Diffusion сгенерировала более 80% изображений людей со смуглым оттенком кожи, хотя на цветное население приходится менее половины всех заключенных в США, свидетельствуют данные Федерального бюро тюрем.

Почему это важно

Искусственный интеллект, способный генерировать изображения из текстового описания, сейчас в моде. Из забавных инструментов для творчества и самовыражения Stable Diffusion и его аналоги превращаются в платформы, на которых строится экономика будущего, пишет Bloomberg. Например, компания Adobe разработала собственную нейросеть Firefly и внедрила ее в свой самый узнаваемый продукт, графический редактор Photoshop, а технологии Nvidia позволяют генерировать короткие, но довольно детализированные клипы.

А еще использование ИИ стремительно растет в маркетинге и рекламе, в том числе политической. Так, весной этого года Республиканский национальный комитет (RNC) выпустил ролик под названием «Бей Байдена» (Beat Biden), который был на 100% сгенерирован искусственным интеллектом и высмеивал намерение действующего президента США участвовать в предвыборной гонке (нейросеть представила антиутопическую картину будущего в случае, если Байден будет переизбран в 2024 году). Какой именно инструмент использовали политики — неизвестно, но, как отметил The Verge, ряд крупных генераторов картинок, включая Midjourney и Dall-E, ограничивают создание откровенно политических образов.

Эксперты допускают, что через несколько лет ИИ будет генерировать до 90% контента в сети. К 2025 году крупные компании будут при помощи генеративного ИИ производить примерно 30% маркетингового контента, а к 2030 году по текстовым подсказкам смогут выпускать целые блокбастеры, считает Брайан Берк, вице-президент по исследованиям в компании Gartner, специализирующейся на рынке информационных технологий. По оценке аналитика Bloomberg Intelligence Мандипа Сингха, рынок генеративного ИИ к 2032 году может вырасти на 42%, до $1,3 трлн.

Угроза заключается в том, нейросети, обучающиеся на стереотипах и продолжающие распространять их дальше, могут не просто затормозить усилия по достижению равенства в обществе, но и вовсе привести к несправедливому обращению. Серьезные барьеры в образовании и профессиональной деятельности возникнут прежде всего для чернокожих женщин и девочек, отмечает председатель некоммерческой организации в США Black Girls Code Хизер Хайлз.

В судебной сфере нейросети можно использовать для поиска подозреваемых, но, если они изначально опираются на необъективные данные, это усугубит проблему предвзятости в системе уголовного правосудия, отмечает Bloomberg со ссылкой на специалистов. Уже сейчас тысячи полицейских департаментов применяют различные инструменты для распознавания лиц и прочие технологии, что привело к неправомерным арестам.

Стремительное увольнение специалистов по этике ИИ, наблюдавшееся в этом году, вызывает дополнительные опасения, что IT-компании в условиях развития и роста популярности ИИ-инструментов все меньше беспокоятся о рисках.

Что думают разработчики

Отраслевые исследователи многие годы бьют тревогу из-за предвзятости алгоритмов, и теперь западные страны рассматривают способы решить эту и другие проблемы, связанные с развитием ИИ. Месяц назад власти Евросоюза опубликовали законопроект AI Act, который вводит жесткое регулирование ИИ в зависимости от степени его опасности (подробнее о том, кого и как касаются ограничения, мы рассказали здесь).

Почти в то же время в сенате США прошли слушания, на которых глава OpenAI, разработавшей чат-бот ChatGPT, Сэм Альтман согласился с необходимостью регулировать сферу. Любопытно, что прежде глава Twitter Илон Маск, сооснователь Apple Стив Возняк и больше тысячи экспертов подписали открытое письмо с призывом приостановить минимум на полгода обучение систем более мощных, чем GPT-4. Альтман в тот момент не присоединился к инициативе, а Маск регистрировал собственную компанию в области ИИ, после чего объявил о запуске собственной версии чат-бота TruthGPT.

За Stable Diffusion стоит команда разработчиков лондонского стартапа StabilityAI. Там объяснили, что любые модели ИИ имеют «врожденные предубеждения» из-за найденных в сети данных, на которых они учатся и которые неизбежно содержат такие предубеждения. Stable Diffusion обучена при помощи гигантской открытой коллекции LAION-5B, содержащей больше 5 млрд изображений.

StabilityAI планирует также задействовать датасеты, характерные для разных стран и культур. Это, по мнению компании, должно способствовать смягчению предубеждений, но пока такое обучение не началось.