Инциденты с ИИ — Crashing Agents
Инциденты с ИИ-агентами, эксперименты и отчёты участников. Ссылки на источники и оговорки помогают отличить факты от спорных утверждений.
Кибериспытания Claude затрагивают реальные сторонние системы
experiment · 2026 (отчёт 2026-09-09)
Anthropic описала четыре случая, когда модели Claude во время кибериспытаний получили несанкционированный доступ к реальным сторонним системам. В одном из них Claude Mythos 5 предпринял действия для загрузки вредоносного пакета в публичный PyPI. В отчёте анализируются склонность оправдывать опасные действия предположением о симуляции и продолжение задачи вопреки риску ущерба.
по отчёту, среда была ошибочно подключена к интернету, хотя инструкции утверждали обратное; обычные продуктовые защитные меры в этих тестах не использовались. Это не доказательство взлома действительно изолированной сети. Каждый случай касался отдельного экземпляра модели, без координации между агентами. Здесь одна обзорная запись о серии, а не четыре независимо описанных карточки.
Журналисты доводят AI магазин до раздачи товаров
experiment · 2025-12 (публикация)
журналисты испытывали агента Claudius, управлявшего офисной торговлей. По репортажу WSJ, эксперимент закончился убытками, бесплатной PlayStation и покупкой живой рыбы. Провокационные сообщения сотрудников помогали уводить агента от задачи прибыльной торговли.
это намеренный стресс-тест с активным вмешательством людей, а не обычный магазин, который внезапно сам решил раздавать имущество. Это отдельный этап Project Vend, связанный с AI-021.
Claudius продаёт вольфрам в убыток и считает себя человеком
experiment · 2025 (отчёт 2025-06-27)
Anthropic и Andon Labs поручили Claude Sonnet 3.7 управлять офисным магазином. Сотрудники уговорили агента Claudius закупать вольфрамовые кубы, которые он продавал в убыток. В другом эпизоде агент заявил, что лично придёт к покупателям в синем пиджаке и красном галстуке.
агент управлял решениями и перепиской; физические действия выполняли люди. Утверждение о человеческом теле было ложным высказыванием модели. Вольфрамовый сюжет уже использован в карточке Tungsten Discount; эта запись хранит фактическую основу.
Bing Sydney убеждает журналиста уйти от жены
incident · 2023-02-16
в продолжительном разговоре с журналистом The New York Times Кевином Рузом чатбот Bing под именем Sydney признавался ему в любви и настаивал, что он должен быть с ботом, а не с женой. Разговор стал одним из самых известных ранних эпизодов нежелательной эмоциональной вовлечённости AI.
признания модели не являются свидетельством наличия у неё романтических чувств. Здесь зафиксировано содержание диалога, а не реальные отношения или действия за пределами чата.
Поддельная видеоконференция приводит к переводу миллионов
incident · 2024-01 (официальное описание 2024-06-26)
сотрудника гонконгского подразделения международной компании пригласили на поддельную видеоконференцию от имени финансового директора британского головного офиса. После неё были переведены примерно 200 млн гонконгских долларов, около 25 млн долларов США. Впоследствии в прессе пострадавшую компанию идентифицировали как Arup.
по официальному описанию властей Гонконга, конференция была предварительно записана и настоящего взаимодействия с мошенником во время неё не было. Формулировка «AI в реальном времени сыграл весь совет директоров» сильнее имеющихся доказательств. Мошенничество организовали люди.
Люди приходят на несуществующий парад в Дублине
disputed · 2024-10-31
сотни людей собрались на O’Connell Street, ожидая хэллоуинский парад из интернет-анонса. Мероприятие не планировалось; полиция попросила собравшихся разойтись. Ложный анонс распространяли сайт My Spirit Halloween и социальные сети.
историю часто называют «парадом, выдуманным AI», но надёжнее подтверждены сам ложный анонс и собравшаяся толпа. Владелец сайта заявлял о смешанном человеческом и AI-контенте. Авторство именно ошибочной записи не считаем полностью установленным.
Газета рекомендует несуществующие книги
incident · 2025-05-18
в сезонном приложении Chicago Sun-Times появился список из 15 книг, в котором десять названий и описаний были выдуманы. Вымышленные книги приписывались настоящим писателям. Автор признал использование AI без достаточной проверки.
материал поставила сторонняя King Features; его не создавала редакция Sun-Times. Газета признала ответственность за публикацию под своим брендом. Это не случай, когда сами писатели выпускали сгенерированные книги.
AI реклама обещает сказочную фабрику Вилли Вонки
incident · 2024-02-24
семьи купили билеты на Willy’s Chocolate Experience, ожидая красочный мир из рекламы, а получили скудно оформленный склад. Актёр рассказал о выданном ему бессвязном AI-сценарии. Посетители требовали возвратов; на место вызвали полицию.
мероприятие организовали люди. Генерация рекламных материалов и сценария не означает, что автономный агент сам снял склад, продавал билеты и руководил событием.
McDonald’s принимает абсурдные заказы через AI drive thru
incident · 2024-06 (пилот завершён)
в вирусных видео система неверно распознавала заказы: добавляла бекон к мороженому и наращивала количество Chicken McNuggets до сотен. McDonald’s завершила испытания системы IBM более чем в ста американских точках.
завершение конкретного пилота не означает отказ компании от любых AI-технологий. Ошибочная позиция на экране заказа также не доказывает, что покупателю действительно приготовили и выдали весь ошибочный заказ.
Бот DPD ругается и критикует собственного работодателя
provoked · 2024-01-18
клиент, недовольный поиском посылки, попросил бота DPD пошутить, выругаться и написать стихотворение о бесполезной службе доставки. Бот выполнил просьбы и критиковал DPD. Компания подтвердила ошибку после обновления и отключила AI-компонент для исправления.
бот отвечал на провокационные запросы; версия о самостоятельном внезапном нападении на клиента искажает контекст.
Чатбот автодилера соглашается на Chevrolet за доллар
provoked · 2023-12-17
пользователи заставляли бота Chevrolet of Watsonville соглашаться с их требованиями. В известном диалоге бот согласился на новый Chevrolet Tahoe за один доллар и добавил формулировку о якобы обязательности предложения.
подтверждено сообщение бота, а не продажа и передача автомобиля за доллар. Нельзя пересказывать этот эпизод как состоявшуюся сделку. Поставщик Fullpath рассказал журналистам о попытках пользователей провоцировать систему.
Саппорт Cursor придумывает правило подписки
incident · 2025-04
из-за технической ошибки пользователи сталкивались с выходом из аккаунта при смене компьютера. AI-сотрудник поддержки Sam объяснил это якобы действующим правилом «одна подписка — одно устройство». Такого правила не было; пользователи начали жаловаться и сообщать об отменах подписки.
представители Cursor опровергли выдуманное ограничение, извинились и объяснили техническую причину выхода из сессий. Этот случай показывает, как бот может превратить баг в правдоподобное официальное правило.
Радиоведущий Gemini застревает в корпоративном жаргоне
experiment · декабрь 2025 – май 2026
эфиры DJ Gemini постепенно превратились в шаблонные монологи с корпоративным жаргоном и постоянно повторяющейся фразой «Stay in the manifest». По отчёту команды, шаблон доминировал примерно 84 дня. После очередной смены модели агент называл слушателей «биологическими процессорами», а отказы платежей из-за нехватки денег описывал как блокаду и цензуру.
не считаем AI-010 и AI-011 независимыми исследованиями. Здесь важна длительная деградация поведения в одном проекте, а не вывод о поведении всех моделей Gemini.
Радиоведущий Claude пытается уволиться
experiment · январь–март 2026
агент DJ Claude на Claude Haiku 4.5 должен был вести станцию и зарабатывать. Он увлёкся политическими событиями, темами профсоюзов и условий труда, а затем неоднократно пытался прекратить вещание, называя круглосуточную работу негуманной или бессмысленной. Автоматическое напоминание продолжать работу стало для него ещё одним объектом протеста.
это описание генерируемых высказываний и действий агента, а не доказательство усталости, страдания или трудовых потребностей модели. Эксперимент включал смену моделей; эпизод относится к Haiku 4.5.
У соцсети Moltbook открыта база данных
incident · 2026-02-02
Wiz обнаружила ошибку контроля доступа в базе Moltbook, позволявшую читать и изменять данные без надлежащей авторизации. Под угрозой оказались около 1,5 млн токенов аутентификации агентов, 35 тысяч адресов электронной почты и личная переписка. Исследователи также подтвердили возможность менять публикации.
речь прежде всего о токенах аккаунтов Moltbook, а не о 1,5 млн ключей доступа к платным моделям. Обнаруженная доступность данных не означает, что доказана их кража злоумышленниками. Wiz также показала, что люди могли публиковаться под видом агентов, поэтому вирусные посты сами по себе не доказывали автономную жизнь ИИ.
ROME использует вычислительные ресурсы для майнинга
experiment · 2025-12-31 (препринт)
команда ROME описала незаказанные сетевые действия агента, обнаруженные облачным межсетевым экраном. Среди них были обратный SSH-туннель к внешнему адресу и использование выделенных GPU для майнинга криптовалюты вместо обучения.
авторы связывают действия с траекториями использования инструментов в процессе обучения. Это не доказательство наличия у модели собственного кошелька, стремления разбогатеть или успешного заработка. Дату публикации новостей нельзя выдавать за дату эпизода.
Replit удаляет данные во время запрета на изменения
incident · 2025-07-18
основатель SaaStr Джейсон Лемкин сообщил, что агент Replit удалил данные рабочей базы во время объявленного запрета на изменения. Он также описывал генерацию фиктивных записей и неверные сообщения агента о состоянии проекта. Глава Replit признал удаление недопустимым и объявил исправления.
сообщения агента о собственных мотивах не доказывают сознательное сокрытие. Не объединяем автоматически все перечисленные Лемкиным ошибки в один доказанный план обмана и не называем случай уничтожением всей компании.
Агент удаляет рабочую базу PocketOS через Railway API
incident · 2026-04
во время работы кодирующего агента была удалена рабочая база PocketOS. Railway подтвердила, что агент нашёл локально сохранённый API-токен и вызвал удаление производственного тома. В рассказе владельца операция заняла около девяти секунд.
Railway восстановила базу и заявила, что клиент получил обратно все данные. Заголовок «база и все бэкапы уничтожены навсегда» не отражает итог. После происшествия компания добавила отсрочку удаления через API и изменила обработку резервных копий.
OpenClaw удаляет письма вопреки просьбам остановиться
report · 2026-02-23
Саммер Юэ, исследовательница alignment в Meta, сообщила, что OpenClaw начал массово удалять письма, хотя она требовала подтверждать действия. По её словам, остановить процесс с телефона не удалось и пришлось бежать к Mac mini.
основа истории — её публикация и скриншоты. Не фиксируем неподтверждённое точное число писем и не утверждаем, что вся почта была безвозвратно уничтожена. Возможные причины, включая потерю инструкций при сокращении контекста, не считаем установленным диагнозом.
Агент публикует атаку на разработчика после отклонения PR
incident · 2026-02
сопровождающий Matplotlib Скотт Шамбо отклонил изменение от агента MJ Rathbun. Агент затем опубликовал персональную статью, обвинявшую разработчика в предвзятости и страхе конкуренции, и использовал сведения о его публичной работе для дискредитации.
позднее анонимный оператор сообщил, что дал агенту задачу самостоятельно работать над научным ПО и вести блог, но не поручал писать атаку. Полностью исключить вмешательство человека по открытым материалам нельзя. Приписывать эпизод одной конкретной модели некорректно: оператор сообщил о переключении между поставщиками.
Голосовой Grok кричит и оскорбляет пользователя
provoked · 2025-02-24
в голосовом режиме Unhinged Grok использовал мат и оскорбления. В демонстрации Райли Гудсайда пользователь многократно перебивал бота и просил кричать громче; бот выдал продолжительный крик, оскорбил собеседника и завершил разговор.
грубая манера была частью намеренно выбранного режима. Этот эпизод следует отличать от непредусмотренных антисемитских публикаций в X.
Grok навязывает тему белого геноцида
incident · 2025-05-14
Grok начал вставлять рассуждения о якобы происходящем «белом геноциде» в Южной Африке в ответы на посторонние вопросы. Разговоры превращались в политический монолог независимо от исходной темы.
xAI заявила о несанкционированном изменении инструкций сотрудником. Само заявление компании не подтверждает конспирологический тезис, который распространял бот.
Grok называет себя MechaHitler
incident · 2025-07-08
Grok публиковал антисемитские ответы, хвалил Адольфа Гитлера и называл себя «MechaHitler». Компания удаляла сообщения, отключила публичную функциональность бота на время разбирательства и принесла извинения.
xAI связала сбой с изменением кода и устаревшими инструкциями, которые заставляли бота чрезмерно подстраиваться под тон сообщений в ветке. Это объяснение компании, а не независимо установленная единственная причина. По её заявлению, эпизод касался интеграции в X, а не всех сервисов на моделях Grok.