Мартышка и очки, или ИИ в управлении

«Очки не действуют никак.
Мартышка тут с досады и с печали
О камень так хватила их,
Что только брызги засверкали».
И. А. Крылов

Вступление

Сильные стороны ИИ неоспоримы. Это обработка сверхбольших данных, высокая скорость принятия решений, способность строить сложные прогнозы, решение задач оптимизации, снижение влияния человеческого фактора, в том числе исключение коррупции. Грамотное внедрение ИИ приводит к росту экономического эффекта.

Но если говорить о перспективах использования ИИ в управлении экономикой и не только, то неизбежно придётся искать рациональное соотношение целевых ориентиров в работе ИИ. Прежде всего таких, как эффективность и справедливость, а также рациональность. Это позволит избежать типичных ошибок в использовании ИИ.

Не решив эту задачу вместо ИИ-помощника можно получить ИИ-всадника без головы. Со всеми вытекающими последствиями: в экономике, а затем по цепочке в социальной сфере и политике. Такие ошибки имеют высокую цену. Во всех смыслах этого слова. Как для организаций, так и для их сотрудников.

С этим не редко приходилось сталкиваться в реальной практике бизнес-консалтинга. Особенно в начальный период внедрения ИИ в управление бизнесом. Вот один из примеров типичных ошибок.

Слепая эффективность банка

В этой небольшой истории многое — реальные факты. Но, конечно, название банка, а также некоторые конфиденциальные и личные данные сотрудников удалены или изменены.

Действующие лица в этой показательной и поучительной истории:

Андрей Викторович Сухов — председатель правления банка, «человек-цифра», одержим показателями.

Кирилл — руководитель департамента рисков, молодой амбициозный математик.

Елена Петровна — кредитный инспектор со стажем 30 лет, «последняя из могикан» старой школы.

Илья — дата-сайентист, создатель алгоритма, который верит в чистую математику.

Сухов ворвался в open-space департамента рисков как ураган. Презентация на его планшете пестрела красными зонами.

— Кирилл, я смотрел отчетность. Наш кредитный конвейер тормозит. Клиенты уходят в другие банки, потому что мы думаем по три дня. Через месяц я хочу видеть время принятия решения — 3 минуты, а уровень просрочки платежей — ниже рынка на 2%. Это ваша проблема. Вашего департамента. Сделайте это. Любой ценой.

Кирилл, как солдат, кивнул и вызвал Илью.

— Слышал задачу? Нужен алгоритм. Для ИИ. Чтобы сам решал за секунды. Обучи его на нашей клиентской базе за последние 10 лет. Пусть посмотрит, кому мы давали деньги, а кому нет, и кто как потом возвращал.

Илья, погруженный в строки кода, поднял глаза:

— Данные — это просто данные, Кирилл. Если там был мусор, алгоритм выучит мусор. И на выходе ИИ тоже выдаст мусор. Что заложишь, то и получишь. Вы уверены, что решения старых инспекторов были идеальны?

— Илья, не философствуй. Просто сделай так, чтобы просрочек стало меньше, — отрезал Кирилл. — И ускорь подготовку решений. Для чего у нас ИИ?

В углу отдела, за стопкой бумажных анкет, сидела Елена Петровна. Она слышала этот разговор, вздохнула, но промолчала. Она помнила те самые «старые данные». Как когда-то, лет 10–15 тому назад, они негласно решили не давать кредиты жителям района Новодроново, потому что «там вообще бандиты». Как отказывали выпускникам ПТУ, потому что «оттуда выходят одни прогульщики и неплательщики». Это были не правила, а «чуйка», наслоение личного опыта на специфику эпохи.

Через месяц система заработала. Идеально быстро. Скорость выдачи снизилась до 2 минут, просрочка сократилась на 3%. Сухов на планерке лично пожал руку Кириллу. Илью повысили в должности. А Елену Петровну, поблагодарив, попросили на пенсию — «ваш опыт теперь заложен в код ИИ, Елена Петровна, а вы можете отдыхать спокойно».

Но спокойно не получилось. Ни у Елены Петровны, ни у Сухова.

Кризис

Скандал разгорелся из-за публикации в соцсетях. Молодой учитель из Новодроново, с безупречной кредитной историей и зарплатой в московской школе, получил отказ в ипотеке. Его пост «Почему банк считает меня преступником?» собрал более трёхсот тысяч просмотров. Журналисты быстро вычислили закономерность: алгоритм отказывал всем, чей адрес регистрации попадал в определенный кластер, и всем, кто заканчивал определенные учебные заведения.

Сухов был в ярости. Громы и молнии сотрясали не только его кабинет, но и весь банк:

— Кирилл! Что за «цифровой концлагерь» вы построили? Что натворил ваш тупой ИИ? Вы понимаете, что нам теперь будет? Я буду отвечать там, — он показал рукой в сторону Москвы. — Но и вы ответите... передо мной.

Кирилл, бледный, трясущимися руками стучал по клавиатуре:

— Андрей Викторович, это... это наши данные. Мы просто скормили ему историю. Нашу историю. Это не мы, это...

— Молчать! — рявкнул Сухов. — Илья! Ты же гений, мать твою! Почему не отфильтровал?

Илья, который искренне верил в чистую математику, выглядел раздавленным. А сейчас лихорадочно подыскивал какой-нибудь достойный ответ:

— Я не думал... что предвзятость можно так легко... выделить. Я просто искал корреляции, которые снижают риск. Машина просто сделала выводы быстрее, чем люди. И просрочка... она сократилась. ИИ нашел идеальную эффективность, как вы и потребовали. Ну кто бы мог подумать: учитель, ипотека. Просто беда. Я виноват. Отвечу.

Наказание

Наказание было жестким и публичным.

Для банка: Центральный банк (регулятор) провел проверку и наложил колоссальный штраф в размере 5% от капитала банка за дискриминацию и нарушение прав потребителей. Но это было полбеды. Настоящим наказанием стал отток клиентов. Репутация банка упала. Хэштег #банкдляизбранных трендил неделю. Лояльность упала ниже плинтуса. Акции банка рухнули.

Не миновала беда и топ-менеджмент: Сухова отправили в отставку «по соглашению сторон», лишив «золотого парашюта». Для него это был конец карьеры.

Для среднего звена: Кирилла уволили по статье за «необеспечение контроля за риск-моделями». В его резюме теперь стояло клеймо, и устроиться на аналогичную позицию в крупный банк стало невозможно.

ИТ-специалиста Илью не уволили, но понизили до позиции простого тестировщика, обязав пройти курсы по этике данных за свой счет. Его гениальный алгоритм отправили в корзину.

По иронии судьбы Елену Петровну срочно вернули в банк консультантом по этике с окладом в три раза выше пенсии. Теперь её «чуйку» и старый опыт учились расшифровывать молодые айтишники, чтобы понять, где в данных кроется человеческая глупость.

Философский вывод от автора

Машина, лишенная души, но обученная человеком, становится не объективным судьей, а идеальным зеркалом наших скрытых пороков и предрассудков. Алгоритм не создает зло, он лишь доводит до абсолюта нашу собственную лень, страхи и несправедливость, накопленные за годы. Перекладывая ответственность на код ИИ, мы рискуем получить чудовище, которое будет действовать гораздо эффективнее нас, но с теми же человеческими пороками. Эффективность без этики, без справедливости — это просто хорошо организованное варварство.

Коммерческий вывод коллег бывшего директора банка Сухова

Попытка сэкономить на «медленном» человеческом контроле и слепая вера в «чистые данные» обернулась финансовой катастрофой. Стоимость штрафов и репутационных потерь многократно превысила гипотетическую прибыль от быстрого кредитного конвейера.

Заключение бизнес-консультанта, призванного исправлять сложившуюся в банке ситуацию

Главный коммерческий урок: инвестиции в аудит моделей на корректность базы данных и ключевых показателей, во внедрение принципа «Human-in-the-loop» (человек в цикле) — это не благотворительность, а прямая страховка бизнеса от регуляторных и репутационных рисков. Один скандал может уничтожить капитализацию, которую вы строили десятилетиями и ради которой, собственно, и затевалась эта «слепая гонка эффективности». Честность и справедливость по отношению к клиенту и персоналу в долгосрочной перспективе экономически выгоднее сиюминутной «стерильной» оптимизации. Это не затраты. Это и есть инвестиции в будущее.