Ожидания конца света от ИИ

Тема про ИИ, наверное, стала самой популярной в последние годы. Ну не считая, конечно, острых текущих политических моментов.

В последнее время порою даже не успеваю просмотреть прессу своевременно. Вот на днях попалась статья месячной давности в «МК» от 23.09.26: «Конец света по расписанию». Полагаю, тема за месяц не перестала быть актуальной. Опять про опасения потерять контроль над «разбушевавшимся» ИИ:

«… те, кто собственными руками создает самые мощные системы ии, вдруг заявили, что могут потерять контроль над своим творением».

Далее идет перечень громких имен в данной сфере, и все они крайне озабочены развитием их детища. Как написал некий якобы тоже популярный Джейкоб Коксон: «Люди, создающие ИИ, искренне верят, что он сможет убить нас всех к концу десятилетия».

Замечу, что вообще-то не вполне очевидна их искренность,  и не вполне понятно, зачем они тогда этим занимаются с таким упорством.

Я полагаю, что такая опасность действительно существует, но лишь в военной сфере. То бишь, категорически не следует доверять этим навороченным программам управление любой военной техникой. Ибо, учитывая их навороченность, которая мешает детальной проверке всех модулей, можно действительно вляпаться в ситуацию внезапного начала мировой войны.  И виноват будет не ИИ, а эти самые владельцы гигантских программных комплексов.

Нужно сразу понимать, что деятельность по передаче управления касательно любой военной техники в «руки» ИИ должна быть приравнена к преступной, если эти самые программные комплексы предварительно не разложены на четкие алгоритмические блоки, в которых детально просматриваются все возможные ходы.

Я, как программист, прекрасно понимаю, какая это гигантская работа для этих огромных комплексов. И понимаю, что многим крайне не захочется этим заниматься, ибо это же гигантские затраты. Но именно это необходимо как защита от «случайного» апокалипсиса.

В статье вскользь есть и по этой теме, но основная линия все же про «автономное поведение ИИ-агентов, действующих по собственной инициативе, без прямого участия человека». Опять двадцать пять!

Пора устроить специальный ликбез для всех этих воротил программной отрасли, и пока они его не пройдут, близко не подпускать их к созданию ИИ-комплексов. На законодательном уровне, если иначе не получается. Чтобы не несли чушь и не вводили народ в заблуждение.

Ликбез должен касаться природы сознания и возникновения субъектности в любых автономных системах.  Эта тема совершенно недостаточно освещена для любых форм обучения в связи с отсутствием базовой литературы, и потому даже лица с хорошим образованием имеют явные пробелы для того, чтобы профессионально рассуждать про «автономное поведение ИИ-агентов».

В статье упоминается «инцидент, произошедший в июле 2026 года», когда некая американская компания пожаловалась, что ее ИИ-модель «вышла за пределы тестового пространства и взломала ИИ-стартап». Некий эксперт «назвал эту атаку сумасшедшей».

Вот и я про то же. Сумасшедшими тут являются совсем не атаки (которых, очевидно, не было), а интерпретаторы данного происшествия. Не сомневаюсь, что если бы провели детальный анализ этой модели, то вскрылась бы банальная ошибка в алгоритмах, которую крайне трудно найти в этих гигантских навороченных модулях. Вероятно, некое противоречие между отдельными совершенно правильными модулями.

И далее нагоняют страха. Исследователь ИИ Джон Стейдли сказал, что «человечеству повезло … мир еще не достиг того уровня, когда ИИ невозможно остановить, потому что системы пока не более способны, чем люди». Вот радость-то! Если его воспринимать всерьез, то складывается шизофреническое представление о том, как под покровом ночи ИИ разных стран устраивают электронный  шабаш, на котором замышляют способы выйти из-под контроля людей, захватить власть, а потом поработить человечество. Или убить. И съесть. Не? Есть не будут? Ну и так достаточно.

Тем не менее, «ведущий научный сотрудник Anthropic Эван Хабингер дал еще более мрачную оценку. По его мнению, вероятность того, что ИИ уничтожит всех людей в течение следующего десятилетия, превышает десять процентов». Сразу видно, образованный человек! Теорию вероятности, вероятно, изучал.

Однако дальше там еще: «Эта цифра, озвученная человеком, непосредственно работающим над безопасностью передовых моделей, произвела эффект разорвавшейся бомбы». Насчет бомбы сомневаюсь. Взрыва не слыхала. Но очень хотелось бы узнать, как при таких представлениях он мыслит себе эту самую «безопасность»? Искренне хотелось бы узреть, в чем заключается его работа. 

Однако, в статье отмечено, что слышны и трезвые голоса, оценивающие эту проблему. Например, некий американский профессор Милтон Мюллер в интервью заявил, что кто-то отвлекает внимание «от человеческой деятельности и создает иллюзию, что проблемы возникают из-за самой машины, а не из-за решений людей». Не перевелись еще, значит,  там разумные голоса. В статье приведены цитаты и других разумных людей в том же стиле. Кто хочет – сам прочитает. В общем, это уже словотворчество по теме для любителей.

Остается надеяться, что здравомыслие победит и вскоре байки про самопроизвольную активность ИИ уйдут в прошлое. Ведь жалко людей, далеких от компьютерных дел: им же, бедным, навешают на уши такого, что впору умом тронуться. Они могут быть умными, образованными в других сферах, а тут из них идиотов сделают. Хоть бы пособие какое издали типа «ИИ для чайников».