Близорукие черные ящики. Как работают современные алгоритмы и почему им до сих пор необходим человек

Не доверяйте слепо

Алгоритмы — обязательный инструмент планирования, но они могут легко завести в тупик людей, принимающих решения. Все алгоритмы обладают двумя свойствами: они буквальны, то есть делают именно то, что от них требуют. И они представляют собой черные ящики, не объясняя, почему дают ту или иную рекомендацию.

В фильме «Мстители: Эра Альтрона» Тони Старк (также известный как Железный человек) создает Альтрона, охранную систему с искусственным интеллектом, чьей обязанностью является защита Земли. Но Альтрон воспринимает задачу буквально, заключив, что лучшим способом защитить Землю будет уничтожение всех людей. Во многих ситуациях Альтрон ведет себя как типичный алгоритм: делает именно то, что от него требуется, игнорируя дальнейшие обсуждения.

Алгоритмам нужно управление, иначе появляются проблемы. Ведь он понимает только то, что сказано точно.

В «Юлии Цезаре» Шекспира прорицатель предостерегает Цезаря: «Тебе грозят бедою иды марта». Рекомендация абсолютно ясна: Цезарю следует опасаться. Но, с другой стороны, она совершенно неразъяснима. Опасаться чего? Почему? Цезарь, опечаленный таинственной фразой, отпустил прорицателя со словами: «Он бредит. Бросим же его».

Конечно, иды марта оказались плохим днем для правителя. Проблема была в том, что прорицатель дал неполную информацию. К тому же не существовало ни единой зацепки, чтобы догадаться, чего именно не хватает и насколько важным было сообщение.

Как и шекспировский прорицатель, алгоритмы часто могут предсказывать будущее с огромной точностью, но без указания причин и обстоятельств событий. Алгоритм может просмотреть все статьи в The New York Times и определить, какую из них с наибольшей вероятностью перепостят в Twitter, но сделает это без обязательных объяснений, что к этому подвигнет. Алгоритм может предсказать, кто из сотрудников в самые короткие сроки окажется наиболее успешным, не уточняя, какие качества наиболее важны для успеха.

Поэтому в процессе формулирования задач для алгоритмов будьте точны в выражении всех своих целей. Рассмотрите долгосрочное применение изучаемых данных. Удостоверьтесь, что вводите именно те данные, которые необходимы.

Осознание этих двух ограничений алгоритмов — первый шаг к улучшению управления ими. А теперь рассмотрим, какие еще шаги можно предпринять для их более успешного использования.

Точно формулируйте каждую цель

Мы можем допустить небольшое снижение прибыли сегодня ради повышения репутации завтра. Мы можем бороться за равенство, даже если в краткосрочной перспективе это обещает организационные проблемы. Алгоритмы же, напротив, будут целеустремленно продвигаться к означенной цели. Если вам важны промежуточные цели, нужно сформулировать их, определить и количественно выразить их значимость. В случаях, когда эти задачи сложно измерить, держите их в приоритете, изучая результаты работы алгоритма.

В компании Google проблема промежуточных целей возникла при работе с алгоритмом, определяющим, какую рекламу показывать. Профессор Гарварда Латания Суини обнаружила ее в процессе исследования. Оказалось, что при наборе типично афроамериканских имен, например Латания Фаррелл, отображаются ссылки, предлагающие просмотреть записи о возможных арестах, чего не происходит в случае ввода имен вроде Кристен Херинг. Четкая цель Google — максимальное увеличение количества переходов по ссылкам — привела к ситуации, в которой ее алгоритмы, улучшаемые со временем с помощью обратной связи, стали фактически порочить людей с определенными именами. Это произошло вследствие того, что люди, искавшие те или иные имена, с большей вероятностью переходили на записи об арестах, что заставило подобные записи появляться чаще, создавая замкнутый круг. Без постановки промежуточной цели не было механизма, позволяющего увести от него алгоритм.

Недавно мы наблюдали важность промежуточных целей в действии. Один из нас работал в городе на Западном побережье США, улучшая эффективность работы его ресторанных инспекций. Десятилетиями в этом городе подобные инспекции, как правило, проводились наугад, но чаще проверки «с пристрастием» доставались уже проштрафившимся заведениям. Выбор заведений для проверки — идеальная работа для алгоритма. И наш алгоритм нашел массу других переменных для прогнозирования, кроме уже существовавших попаданий. В результате департаменту здравоохранения было бы гораздо проще определять возможных нарушителей и затем обнаруживать проблемы, проводя при этом гораздо меньше проверок.

В департаменте одобрили идею повышения эффективности процесса и захотели реализовать ее. Мы поинтересовались, есть ли у представителей департамента какие-либо вопросы или сомнения. После неловкого молчания руку подняла одна сотрудница. «Я не знаю, как это объяснить, — сказала она, — но есть один момент, который нам нужно обсудить». Она объяснила, что в некоторых районах с более плотной застройкой имеется тенденция к большему количеству нарушений. Также оказалось, что в этих районах проживает больший процент меньшинств с низкими доходами. Она не хотела, чтобы алгоритм одержимо набрасывался на эти районы, и сформулировала промежуточную цель, связанную с равномерностью. Мы приняли простое решение установить максимальное число проверок для каждой зоны. Таким образом достигались обе цели: и основная — выявление ресторанов, с наибольшей вероятностью имеющих проблемы, и промежуточная — гарантия, что бедные районы не подвергнутся излишнему прессингу.

Обратите внимание на дополнительный шаг, позволивший нам учесть промежуточные цели: мы дали всем возможность высказать любые сомнения. Оказалось, что люди часто формулируют промежуточные цели в виде сомнений, поэтому четкий вопрос об их наличии дает начало более открытому и плодотворному обсуждению.

Также чрезвычайно важно дать людям возможность быть откровенными и честными, чтобы говорить о том, о чем они обычно молчат. Такой подход помогает обнаружить разнообразные проблемы, но те, что мы обычно видим, относятся к справедливости и к работе с тонкими моментами.

Имея базовую цель и список сомнений, разработчик алгоритма может встроить в него необходимые компромиссы. Часто это означает расширение цели до различных исходов, распределенных по важности.

Заставляйте алгоритм думать о будущем

Одна популярная компания заказывала дешевые товары в Китае и продавала их в США. Выбор продукции осуществлялся с помощью алгоритма, который предсказывал самые продаваемые позиции. Будучи полностью в нем уверенной, компания запустила продажи, которые шли неплохо, пока через несколько месяцев покупатели не начали возвращать товары.

Между прочим, можно было предвидеть удивительно высокое и устойчивое количество возвратов (даже несмотря на то что алгоритм не смог этого предсказать). Компания, безусловно, заботилась о качестве, но не заложила этой заинтересованности в алгоритм, который был точно запрограммирован на удовлетворение покупателей, заставив его сосредоточиться исключительно на продажах. А именно этот новый подход должен был блестяще спрогнозировать не просто то, насколько хорошо будут продаваться товары, но и то, насколько они понравятся людям и насколько долго те будут ими пользоваться. Теперь возвраты резко упали, а фирма ищет на Amazon и других платформах предложения, о которых будут с восторгом говорить все покупатели.

Эта компания попала в обычную ловушку работы с алгоритмами — тенденцию к ограниченности. Они фокусируются на существующих данных, а те часто имеют отношение к краткосрочным исходам. Может происходить задержка между кратковременным успехом и долговременной прибылью с более широкими корпоративными целями. Люди понимают это без пояснений, алгоритму же нужны уточнения и указания.

Эту проблему можно решить в фазе целеполагания, идентифицируя и конкретизируя долговременные цели. Но, действуя по прогнозам алгоритма при работе с долгосрочными целями, менеджеры должны приспособиться и к масштабу, который задается алгоритмом. Близорукость — это тоже скрытая слабость программ, создающих низкокачественный контент путем поиска способа увеличить количество переходов по ссылкам. Алгоритмы оптимизируются, чтобы достичь цели, которую можно измерить в данный момент (переходит посетитель по ссылке или нет), не принимая во внимание долгосрочную и более важную задачу: сохранять удовлетворение пользователей от работы с сайтом.

Близорукость также может иметь место в ходе маркетинговых кампаний. Вспомните заурядную рекламную кампанию Gap в Google. С наибольшей вероятностью она должна была привести к всплеску посещаемости сайта Gap.com, потому что алгоритм Google хорошо угадывает людей, которые перейдут по рекламной ссылке. Но дело в том, что настоящая цель — это рост продаж, а не посещаемости сайта. Чтобы достичь ее, рекламные платформы могут собирать данные о продажах различными способами, например, партнерство с платежными системами, и внедрять их в свой алгоритм.

Более того, посещаемость сайта — краткосрочное поведение, в то время как долговременное влияние рекламы — это прежде всего имидж бренда и постоянные клиенты. Идеальные данные для таких эффектов найти трудно, но здесь может очень помочь внимательный аудит уже имеющихся данных.

Менеджерам следует систематически составлять списки внешних и внутренних данных, которые могут соответствовать текущему проекту. В случае с кампанией Google маркетологам Gap следовало начать с описания всех своих целей — больших продаж, малого количества возвратов, хорошей репутации и так далее — а затем проговорить способы измерения каждой из них. Возвраты товара, отзывы в сети и поиски по слову «Gap» стали бы отличными критериями. И тогда алгоритм смог бы построить лучший прогноз из комбинации этих переменных, калибруя их относительную важность.