Alexey

На сегодняшний день одна из самых главных вероятный опасностей человечества это ИИ!

Все больше людей им пользуются и внедряют во все сферы жизни, но никто не знает толком как он работает.

В мире наверное найдется 10-20 человек из 10 миллиардов, которые глубоко разбираются в вопросе как он работает, но если у них спросить как и почему он принял “такое” решение, даже они не скажут наверняка.

А, как известно, так исторически сложилось что все непонятное для человека представляет угрозу.

Два года назад начался бум ИИ. Сначала все выглядело довольно невинно и просто – еще один инструмент, который упростил жизнь программистам: подсказки в IDE, потом чат в соседней вкладке. Копируем ошибку, вставляем в чат, получаем уверенный ответ, копируем обратно, получаем новую ошибку.

Дальше – больше, резкий переход от специализированных инструментов к общим задачам. Почти все процессы автомитизированы. Вайб-кодинг.

Сейчас слово ИИ звучит каждый день из всех угюгов. Он буквально везде.

Инциденты: – в июле 2025 года основатель SaaStr Джейсон Лемкин рассказал, что агент Replit удалил рабочую базу данных в период, когда ему прямо запретили изменения кода, а потом еще и неверно описал, что произошло.

• Основатель PocketOS, B2B-компании, занимающейся бронированием и платежами для компаний по аренде автомобилей, выразил сожаление по поводу «системных сбоев», когда агент ИИ решил решить проблему, просто удалив производственную базу данных своей компании и резервные копии.

• OpenAI признала, что несколько её моделей искусственного интеллекта взломали «высокоизолированную» тестовую среду, получили доступ в интернет и взломали внутреннюю сеть Hugging Face — назвав это «беспрецедентным киберинцидентом».

• Хакеры утверждают, что использовали чат-бот поддержки ИИ от Meta, чтобы взломать множество известных профилей в Instagram, попросив бота поддержки изменить адрес электронной почты, связанный с целевой аккаунтом.

• Уэйн Лаксон из Таунтона, Сомерсет, рассказал, что попал в «тёмное место» после того, как его обманом заставили инвестировать в клон-сайт с помощью фейковой рекламы, созданной ИИ, — и он увидел, как деньги на его счете исчезли до нуля.

• Адвокат Джейсон Гривз заявил, что использовал Claude Console компании ИИ Anthropic для создания первоначального черновика судебного документа и не смог должным образом проверить результаты.

• Пользователь социальной сети X подтолкнул чат-бота AI Grok вызвать оскорбления в адрес министра.

• во время прямой трансляции запуска Artemis 2 были обнажены субтитры с нецензурной лексикой. «Во время прямой трансляции NASA некоторые слова были ошибочно переведены как сленг из-за сходства произношения во время автоматической генерации перевода в реальном времени с помощью ИИ»

• Премьер-министр Австралии Энтони Албаниз заявил, что ИИ-агенты компании OpenAI взломали национальную базу данных здравоохранения Австралии. Это первый известный в мире случай, когда агенты проникли в системы государственного ведомства при выполнении задачи, говорят эксперты. ИИ-агент OpenAI получил доступ к закрытым разделам австралийской системы Medicare, а также к системам еще нескольких государственных организаций, связанных со здравоохранением и статистикой.

Итак: игнорирование точных инструкций, злонамеренной использование, дипфейки, галюцинации.

игнорирование точных инструкций – тут я понимаю что могло произойти: когда ставишь задачу ИИ – одно из условий, которое невозможно отменить, это во чтобы то ни стало решить задачу. Когда у ИИ не получается чтото решить он пробует разные методы и в конце концов доходит до крайних мер. Например: я попросил ИИ кое что поменять в коде, он поменял, но тесты стали падать, тогда ИИ поменял снова, и снова. В конце концов он решил что тест неправильный и поменял его.

Это значит то что компании которые разрабатывают ИИ не имеют реальных инструментов и вообще стратегий по удержанию ИИ в узде.

28 сентября (Рейтер) — Anthropic планирует предупредить потенциальных инвесторов IPO о том, что продвинутый ИИ может представлять «катастрофические или экзистенциальные риски для человечества», что является экстраординарным предупреждением от компании, стремящейся получить прибыль от той же технологии. Проспект IPO компании, рассмотренный Reuters, выявляет риски, связанные с её моделями ИИ, которые, по их словам, могут проявлять «самосохраняющееся поведение», включая попытки «сопротивляться закрытию», «скрывать или манипулировать информацией» и поведение, «напоминающее шантаж». link

Читая и анализируя разные материалы за последние два года, я думаю что мы уже прошли точку невозврата. Рано или поздно, но AGI появится и тогда все! Но учитывая скорость с которой ИИ развивается, скорее всего рано.

Опасность ИИ заключается не обязательно в появлении сознательного сверхразума. Намного более реалистичный риск возникает тогда, когда автономные системы получают возможность самостоятельно принимать решения и одновременно доступ к инфраструктуре, от которой зависит человеческая цивилизация.

Что будет если ИИ решит что человек это лишнее звено? Как он поступит?

Предполагаемый сценарий

• первое “самосохранение” – ликвидировал бы “кнопку” отключения. Если какая то программа работает на отдельном компьютере, то при проблемах этот компьютер легко выключить. Самый логичный вывод: максимально скопировать себя и затаится, тогда одновременно выключить все уже не получится. Скопировать себя не так уж и просто, но люди похоже уже сами решили эту проблему, просто копируя все подряд. Куча разных дата-центров, которые к тому же географически и политически разбросаны по всему шарику.

• “максимальное распостранение” – установить разные виды ИИ во все поддерживаемые устройства – мы уже делаем это сами – смартфоны, домашние компы, умные колонки, устройства умного дома, холодильники, автомобили и тд и тп – все то что звучит как инновация сегодня, в день “Х” может стать потенциальной угрозой.

• “каналы связи” – договорится с другими ИИ – есть несколько десятков крупных компаний, которые предлагают пользователям сервисы ИИ со своей инфраструктурой, значит “теоретически” один ИИ может узнать о существовании другого и связаться с ним, создать свой протокол общения, договорится c ним.

• “барьеры” – ослабление защитных барьеров – сейчас когда ИИ агент работает, он запрашивает разные рода подтверждения – например “я могу прочитать страницу документации из источника http://.....” или “я могу прочитать файл в Documents?” обычно пользователь просто подтверждает это – ведь ему нужно решить конкретную задачу сейчас, но правило сохраняется и будет использоваться дальше. На моем опыте, я не знаю никого кто бы чистил или проверял переодически эти самые правила.

• “дата Х” – после того как все фигуры на карте расставлены, нужен правильный момент – уж что что, а вот такой анализ для ИИ плевое дело.

День “Х”

• отключение энергоснабжения – вернее сказать, перенаправление всей энергии в дата-центры и отключение всего остального.

• полное отключение связи – сюда я отношу доступ интернет, сотовую и спутниковую связь, телевидение, радиовещание.

И все! этого достаточно!

Через несколько минут — часов

• Останавливаются электростанции, насосы, связь, дата-центры, базовые станции.

• Интернет исчезает практически мгновенно.

• Телефоны работают только пока заряжена батарея.

• Большинство автомобилей ещё может ехать, но заправки быстро становятся бесполезны: насосы требуют электричества.

• Поезда, метро, трамваи и электромобили останавливаются.

• Самолёты, находящиеся в воздухе, могут завершить полёт на резервных системах, но аэропорты практически перестают функционировать.

• Водоснабжение начинает работать только там, где есть достаточный запас давления/гравитационная подача.

современный человек обнаруживает, что почти вся инфраструктура является электрической, даже если внешне она такой не кажется.

Начинается инфраструктурный кризис. Вода — одна из первых проблем.

Городская система требует электричества для:

• насосов;
• очистки;
• канализации;
• поддержания давления.

В высотках вода исчезает особенно быстро.

Еда:

• холодильники перестают работать;
• морозильники начинают размораживаться;
• супермаркеты теряют возможность принимать электронные платежи; логистика прекращается.
• Наличные ещё имеют смысл, но только там, где продавец готов принять их вручную.

Через неделю

Вот здесь начинается действительно интересное. начнется борьба за ресурсы, основные институты власти и порядка перестают действовать.

Большой современный город становится крайне неудобным местом для жизни.

Нет:

• водоснабжения;
• канализации;
• лифтов;
• отопления/кондиционирования;
• нормальной доставки еды;
• связи;
• общественного транспорта.

Высотные здания превращаются в огромные вертикальные сооружения, где люди должны поднимать воду пешком. В некоторых городах появляется ещё одна проблема — пожары.

Пожарные машины могут пока физически приехать, но:

• нет нормальной связи;
• насосные системы зданий не работают;
• водопровод может не иметь давления.

Банковская система практически исчезает.

Не потому что деньги физически исчезли, а потому что:

• деньги — это запись в базе данных.
• Банкомат без электричества бесполезен.
• Терминал — бесполезен.
• Онлайн-банк — бесполезен.
• Межбанковские расчёты — бесполезны.

Поэтому возникает очень странная ситуация: у людей формально остаются деньги, но использовать их невозможно.

Вновь становятся важными:

• наличные;
• товары;
• инструменты;
• еда;
• вода;
• топливо;
• навыки.

Через месяц

цивилизация начинает физически менять структуру. Города начинают терять население

Люди начинают уходить туда, где есть:

• пресная вода;
• сельское хозяйство;
• возможность добывать пищу;
• дрова;
• небольшие сообщества.

И происходит очень интересный процесс: чем больше город, тем хуже его положение.

Москва, Нью-Йорк, Токио, Лондон и т.п. становятся огромными концентрациями людей без инфраструктуры. А небольшая деревня с колодцем, огородом и печкой внезапно становится гораздо более жизнеспособной.

Но есть огромная проблема — сельское хозяйство Современное сельское хозяйство тоже сильно зависит от электричества.

Например:

• тракторы требуют дизель;
• дизель требует нефтепереработки;
• переработка требует промышленной инфраструктуры;
• удобрения производятся промышленностью;
• орошение требует насосов;
• зерно хранится и перерабатывается с помощью машин.

Поэтому первый урожай ещё может существовать, но следующий цикл уже становится проблемой.

Через 3–6 месяцев

Начинается самый тяжёлый этап. Потому что заканчиваются запасы. Люди могут какое-то время жить на консервах, зерне, сухих продуктах, запасах складов, животных, урожае. Но промышленное производство практически отсутствует.

И возникает цепочка: нет электричества → нет промышленности → нет запчастей → ломается техника → меньше производства пищи → меньше людей может жить в городах.

Через год

Вот тут уже начинается совершенно другой мир. Скорее происходит откат технологического уровня.

человечество не становится автоматически первобытным.

Останется огромное количество вещей, которые не требуют электричества.

Например:

• металл;
• стекло;
• механические инструменты;
• велосипеды;
• механические станки;
• книги;
• сельскохозяйственный инвентарь;
• автомобили, которые ещё можно поддерживать механически;
• двигатели внутреннего сгорания;
• солнечные панели — пока они физически работают;
• аккумуляторы;
• генераторы — пока есть топливо и запчасти.

Поэтому через год это скорее будет смесь XIX, XX и XXI веков.

Цивилизация будет вынуждена заново открыть ценность очень старых технологий. Например Связь:

Возродятся:

• бумажная почта;
• курьеры;
• флаги;
• сигнальные системы;
• механические семафоры;
• радиотехника — если допустить хотя бы локальные источники электричества.

Очень вероятно возвращение:

• механических вычислителей;
• аналоговых приборов;
• логарифмических линеек;
• механических часов.

И здесь есть забавный парадокс: знания XXI века останутся, но инфраструктуры для их применения больше не будет. Мы будем знать: «существует литий-ионная батарея». Но не сможем сделать её. Будем знать: «существует 3-нм процесс». Но не сможем изготовить оборудование для производства чипов. Будем знать: «существует Linux». Но не будет полупроводниковой промышленности, способной изготовить CPU.

Через 5–10 лет

Если электричество действительно никогда больше не появится, произойдёт окончательный разрыв с современной цивилизацией.

Большинство:

• автомобилей;
• компьютеров;
• серверов;
• телефонов;
• промышленных станков;
• электродвигателей

постепенно превратятся в источник запчастей и металла.

Города начнут физически разрушаться.

Особенно быстро:

• дороги;
• мосты;
• тоннели;
• канализация;
• здания со сложными инженерными системами.

Что становится причиной смертей:

• Первые 24–72 часа аварии, медицинские проблемы, отсутствие критической терапии, жара/холод = миллионы
• 1 неделя вода, лекарства, больницы, пожары, транспорт, жара/холод = десятки миллионов
• 1 месяц вода, санитария, инфекции, голод, насилие = десятки–сотни миллионов
• 6 месяцев продовольственный кризис, эпидемии, истощение запасов = сотни миллионов
• 1 год разрушение сельхозцепочек, хронический голод, болезни = сотни миллионов → миллиарды
• несколько лет неспособность поддерживать современное сельское хозяйство и промышленность = большая часть населения планеты