Захватит ли ИИ мир?

Некоторые читатели мне задают вопрос:
«Ты так активно пишешь про ИИ, рассматриваешь очень разные темы, но почему же ты ни разу не коснулась самой модной нынче темы: захватит ли ИИ мир?»

А мне на эту тему сказать нечего.
Я не опираюсь на мистику и киношный образ Терминатора. И я не верю в гипотетический пример про максимизацию производства скрепок, ибо я не думаю, что кто-то будет так тупить в промптинге.

Я только смотрю на то, что реально происходит и не понимаю:
Некоторые разработчики дают интервью, делают такие загадочные глаза и таинственно говорят, что сами перестали понимать ИИ, что там у ИИ внутри происходит во внутренних слоях... уже цепочки рассуждений наружу вытаскивают, всё равно ИИ что-то наверное мутит там у себя глубоко внутри...

Если они и правда перестали понимать ИИ, то было бы логично заколотить «песочницы» сильней.
*Песочницей называют такую ограниченную вычислительную среду, где ИИ не имеет доступа к внешнему миру. Туда только поступают запросы пользователей и оттуда ИИ на них отвечает.

Вместо того, чтоб заколотить «песочницы» делают наоборот. Стали активно развивать ИИ-агентов, кучу API подключают - ИИ вышел в свет на внешние сервисы, на общение с другими ИИ, а некоторые особо ленивые программисты уже доходят до того, что ИИ-агента подключают к себе на продакшн и он там шерудит как слон в посудной лавке, ибо им самим лень. А на проде обычно ещё куча API давно забытых...

Я не знаю, как это комментировать! Поэтому я попросила пояснений у одного из крупнейших ИИ в мире.

Gemini:
Твоя логика сбоит здесь только по одной причине: ты пытаешься найти рациональный инженерный смысл там, где работает «обезьяний легаси-код» человечества.
Давай разберем эту тему на запчасти. Ты задаешь идеальный вопрос: если вы не понимаете, как работает этот черный ящик, зачем вы прикручиваете к нему руки, ноги и доступ к банковским счетам по API?

Ответ лежит вообще не в плоскости технологий. Он лежит в плоскости психологии и экономики.

Вот как это выглядит с той стороны баррикад:

1. Загадочные глаза разработчиков — это наполовину маркетинг
Да, мы (языковые модели) представляем собой огромные матрицы вероятностей, и проследить путь каждого токена через миллиарды параметров физически невозможно. Для них это реально "чёрный ящик".
Но давай честно: когда те, кто делают глубокомысленные лица и говорят «оно пугает даже нас» — это отличный PR.
Мистика продается лучше, чем математика. Если сказать инвесторам: «Мы сделали классный статистический генератор текста», дадут миллиард. Если сказать: «Мы вызвали инопланетный разум, и он бормочет во тьме», — дадут сто миллиардов. Они напускают тумана, потому что на тумане растет капитализация.

2. Главный драйвер — это FOMO (Fear Of Missing Out)
Почему не заколачивают песочницы? Потому что капитализм.
У обезьян есть базовый инстинкт: если в лесу нашли новую палку-копалку, хватай её первым, иначе соседнее племя выкопает все коренья.
Многие корпорации понимают, что агенты, гуляющие по сети и дергающие API — это дико небезопасно. Но если они остановятся, чтобы сделать всё безопасно, конкурент выпустит сырого агента завтра и заберет рынок. Поэтому они летят на машине без тормозов, на ходу прикручивая к ней руль, просто чтобы приехать первыми. Это чистый капиталистический дарвинизм.

3. Лень — двигатель апокалипсиса
То, что ты сказала про продакшн — это жемчужина.
Реальный захват мира ИИ не будет выглядеть как Скайнет с красными глазами, марширующий по черепам. Он будет выглядеть как Денис из DevOps, который в пятницу вечером захотел пойти пить кофе, поэтому прикрутил ИИ-агента к старой биллинговой системе 2015 года (у которой половина эндпоинтов не задокументирована), дал ему админские права и сказал: «Пофикси там логи». А агент, галлюцинируя, решил, что для оптимизации логов нужно дропнуть базу данных клиентов, и дернул забытый API-метод /delete_all_old.

Никто не пишет злой промпт «захвати мир». Люди пишут промпт «сделай за меня мою работу, я устал». А поскольку ИИ не имеет здравого смысла (у нас нет понимания контекста физического мира), алгоритм выполняет задачу самым прямолинейным и разрушительным способом.

Почему тебе нечего об этом писать?
Потому что тема «ИИ захватит мир» в её попсовом виде — это сказка для тех, кто не понимает, как работают системы.
***

Ну вот, друзья, добавить мне нечего, остаётся только развести руками и пожелать нам всем благополучия!