Предвзятость или объективность ИИ

В 2022 году канадские исследователи Аджей Агравал, Джошуа Ганс, Ави Голдфарб опубликовали книгу «От предвидения к власти. Как ИИ-прогнозирование трансформирует экономику и как использовать его силу в своих целях». Вот, что они в ней написали.

Оглядываясь назад, надо сказать, что вряд ли это могло хорошо кончиться. Но в 2016 году исследователи Microsoft создали алгоритм ИИ под названием Tay, собираясь научить его взаимодействовать с пользователями Twitter. В течение нескольких часов он научился и начал извергать оскорбительные твиты. Tay был не одинок в своем стремлении стать худшим из нас. Таких историй немало, и большинство, в том числе и компании, не хотят внедрять ИИ не потому, что его прогнозы менее точны, чем человеческие. Напротив, ИИ слишком хорошо воспроизводит поведение человека. Это неудивительно. Для прогнозирования с помощью ИИ требуются данные, и если вы собираетесь прогнозировать что-то касающееся людей, то взять эти данные можно только у людей.
В этом есть свои преимущества, например при обучении игре против человека, но люди несовершенны, и машина наследует эти несовершенства. Компания Amazon нанимает множество людей. Каждый 153-й работник в США состоит в ее штате. Поэтому не стоит удивляться тому, что в Amazon очень заинтересованы в ИИ, который помогал бы подбирать персонал. В 2014-м они реализовали эту идею, а всего через год отказались от нее, так и не начав применять ее на практике.
Почему? Потому что ИИ не оценивал кандидатов на должности программистов и прочих технических специалистов с гендерно-нейтральной позиции. Причина знакомая. ИИ компании Amazon обучался на собранных за прошедшие годы данных, где преобладали кандидаты-мужчины. При этом он явно снижал частоту упоминаний о женщинах, в том числе о женских колледжах. Простые исправления не смогли восстановить нейтралитет.
Читаешь подобные истории и думаешь, что ИИ безнадежно необъективен. Но можно прочитать эту историю и по-другому: ИИ был предвзят, его сочли предвзятым и поэтому не стали применять. Можно ли то же самое сказать о рекрутерах-людях?
На самом деле мы знаем ответ: ИИ обучался в первую очередь на этих рекрутерах. В то же время этот опыт на­учил разработчиков ИИ, что обучения на прошлых данных часто бывает недостаточно. Им нужны новые источники данных, на мобилизацию которых потребуется время. Но в итоге результаты дообученного ИИ можно оценивать. Более того, его можно постоянно контролировать на предмет эффективности.
Это радикально глубокое улучшение по сравнению с нынешними мерами по борьбе с дискриминацией, в основном ориентированными на результат. Главный вопрос — есть ли разница между результатами разных групп? И нередко такие меры представляют собой прямые правила, направленные на восстановление баланса и достижение паритета результатов. Проблема в том, что эти меры могут внести раскол в коллектив.
Автоматизированная система более справедлива и безопасна, она снижает вероятность столкновения полиции с населением. Но преимущества такого подхода выходят далеко за рамки точечного решения. Уверенность в том, что к людям относятся одинаково, меняет характер взаимодействия людей с системой и насколько безопасно они себя чувствуют, действуя в ней. Кроме того, отпадает необходимость в мероприятиях, которые просто пытаются выглядеть хорошо в бухгалтерском учете, например в том, чтобы результаты были частью фиксированных градаций или даже квот. Однако переход к устранению неравного отношения не будет беспрепятственным именно потому, что он изменит результаты в системе. Не все будут рады автоматизированной системе. Как и звездные бейсболисты, водители, пользующиеся благосклонностью офицеров ДПС, возмущаются установкой камер. Некоторым будет трудно оплачивать штрафы. Кроме того, автоматизированная система не проявит снисходительности, если кто-то превысил скорость по уважительной причине, например в случае экстренной медицинской помощи. Полиция не может использовать остановки для выявления других преступлений, кроме превышения скорости.
Тем не менее скорость убивает. Если заставить водителей не превышать скорость, это спасет жизни. Однако контроль за соблюдением скоростного режима осуществляется неравномерно и часто носит дискриминационный характер. Автоматизированное правоприменение позволит поймать больше водителей и уменьшить дискриминацию.
И люди, и ИИ способны проявлять предвзятость. Как сказала специалист по информатике Массачусетского технологического института Марзиех Гассеми после лекции о предвзятости машинного обучения в здравоохранении, когда речь идет о предвзятости, «люди ужасны». Предвзятость ИИ можно обнаружить и затем устранить. Новые системные решения ИИ во всех областях — от образования до здравоохранения, от банковского дела до полицейской деятельности — могут быть разработаны и внедрены для снижения уровня дискриминации. Системы ИИ можно непрерывно и ретроактивно контролировать, чтобы обеспечить постоянный успех в устранении дискриминации. Если бы так же легко это поддавалось исправлению в людях.
По некоторым оценкам, в 1960 году лишь 5% рабочих мест требовали умения принимать решения. К 2015 году их доля превысила 30%, причем платили таким сотрудникам больше, но, разумеется, предъявляли им более строгие требования к образованию, навыкам и профессиональному опыту.
Прогнозирование с помощью ИИ способно повысить ценность таких навыков, то есть умения достигать «углубленного понимания» и преобразовывать его в более эффективные решения. Однако, главный вопрос не в том, способен ли на это ИИ. Важно, кто воспользуется новыми возможностями.