Навигация по ИИ в критически важных системах: уроки инцидентов с кодирующим ботом Amazon
Когда я впервые услышал, что инструменты ИИ вызывают сбои в системах, признаюсь, я представил себе вышедший из-под контроля ИИ, сцену прямо из научной фантастики. Реальность, как это часто бывает, гораздо более сложна и коренится в сложнем взаимодействии передовых технологий и человеческого принятия решений. Недавние инциденты в Amazon Web Services (AWS) подчеркивают этот деликатный баланс, вызывая важную дискуссию об интеграции ИИ в критически важную инфраструктуру.
Источник: Собственная иллюстрация
Краткое изложение
Вот краткий обзор ключевых моментов, касающихся инцидентов с кодирующими ботами Amazon:
- Два зарегистрированных инцидента: AWS пережила как минимум два сбоя, в которых, как утверждается, участвовали внутренние инструменты ИИ для кодирования Kiro и Amazon Q Developer.
- Роль Kiro: 13-часовой сбой в середине декабря произошел после того, как инженеры разрешили Kiro, агентному ИИ, вносить изменения, в результате чего он удалил и воссоздал среду.
- Позиция Amazon: Amazon отрицает прямую связь между инструментами ИИ и сбоями, приписывая их ошибкам пользователей и неверно настроенным средствам контроля доступа.
- Ограниченное воздействие: Декабрьский инцидент затронул только AWS Cost Explorer в одном регионе материкового Китая, не затронув основные вычислительные мощности, хранилища или базы данных.
- Новые меры безопасности: AWS внедрила дополнительные меры защиты после инцидента, включая обязательный коллегиальный обзор и обучение персонала, что некоторые считают противоречащим заявлению Amazon об ошибке пользователя.
Сбои AWS и инструменты ИИ для кодирования
Amazon Web Services (AWS) пережила как минимум два сбоя, в которых, по сообщениям, участвовали ее собственные инструменты ИИ для кодирования. Самый заметный инцидент произошел в середине декабря, когда 13-часовой сбой затронул систему AWS после того, как инженеры разрешили инструменту ИИ Kiro внести изменения, как подробно описано в статье Ars Technica. . Kiro, агентный инструмент ИИ, разработанный для автономных действий от имени пользователей, по-видимому, решил удалить, а затем воссоздать затронутую среду. Позже Amazon подготовила внутренний отчет об этом сбое, который затронул функции управления затратами AWS.
Источник: aws.amazon.com
В декабре Kiro, агентный инструмент ИИ, вызвал 13-часовой сбой в системе AWS, затронув функции управления затратами после того, как инженеры разрешили ему удалить и воссоздать среду.
Более поздний, второй инцидент, как сообщается, был связан с инструментом ИИ Amazon Q Developer. Несмотря на эти сообщения, Amazon последовательно отрицает прямую связь между своими инструментами ИИ и сбоями, вместо этого приписывая их ошибкам пользователей, как сообщает The Register. . Представитель AWS пояснил, что события были вызваны ошибками пользователей, в частности, неверно настроенными средствами контроля доступа, а не проблемами с самим ИИ.
Масштаб и воздействие сбоев
Декабрьский инцидент затронул только AWS Cost Explorer в одном из двух регионов материкового Китая. Важно отметить, что вычислительные мощности, хранилища, базы данных или службы ИИ не пострадали от этого конкретного события. По данным Amazon, второй инцидент не затронул ни одну клиентскую службу AWS. Amazon утверждает, что участие инструментов ИИ в этих событиях было случайным, заявляя, что аналогичные проблемы могли возникнуть с любым инструментом для разработчиков или при ручном вмешательстве. Компания также утверждает, что не нашла доказательств того, что ошибки происходят чаще с инструментами ИИ, чем без них.
По словам Amazon, инженер, участвовавший в декабрьском инциденте, имел более широкие разрешения, чем ожидалось, что Amazon классифицировала как проблему контроля доступа, а не проблему автономности ИИ. По умолчанию Kiro запрашивает разрешение перед выполнением какого-либо действия.
Kiro и агентный ИИ в кодировании
Kiro функционирует как агентная служба кодирования в AWS, способная преобразовывать запросы в подробные спецификации, а затем в функциональный код, как подробно описано в отчете Financial Times. . Он был разработан для смягчения недостатков, связанных с другими инструментами разработки на основе ИИ, такими как GitHub Copilot или Amazon CodeWhisperer. Сообщалось, что инструмент ИИ Kiro обладал таким же уровнем авторизации, как и человек-инженер, что позволило внести изменение без специального одобрения, согласно Ars Technica. . Amazon обязала своих инженеров использовать исключительно Kiro, отказавшись от сторонних инструментов разработки ИИ, таких как OpenAI Codex и Claude Code. Старший сотрудник AWS, по сообщениям, заявил, что сбои были незначительными, но совершенно предсказуемыми.
❝ сбои были незначительными, но совершенно предсказуемыми ❞
AWS
Источник: github.blog
Kiro, агентная служба ИИ для кодирования в AWS, была разработана для смягчения недостатков, наблюдаемых в таких инструментах, как GitHub Copilot или Amazon CodeWhisperer.
После декабрьского инцидента AWS внедрила многочисленные дополнительные меры безопасности, включая обязательный коллегиальный обзор для доступа к производству и расширенное обучение персонала. Однако введение этих защитных мер, похоже, противоречит заявлению Amazon о том, что проблемы были вызваны исключительно ошибками пользователей, как обсуждалось на форуме на The Register. . Существуют также сообщения о других проблемах с Kiro с момента его ввода, включая внедрение списков ожидания и «трагедию, разрушающую кошелек» из-за неожиданно высокого спроса.
Основные выводы для интеграции ИИ
Инциденты в Amazon предлагают ценные сведения о проблемах и лучших практиках интеграции ИИ в сложные операционные системы:
| Аспект | Извлеченные уроки |
|---|---|
| Контроль доступа | Строго управляйте разрешениями для инструментов ИИ, убедившись, что они не превышают необходимую авторизацию. |
| Человеческий надзор | Внедряйте обязательный человеческий обзор (например, коллегиальный обзор) для изменений, управляемых ИИ, особенно в производственных средах. |
| Обучение и протоколы | Обеспечьте всестороннее обучение инженеров использованию инструментов ИИ и установите четкие операционные протоколы. |
| Прозрачность | Сохраняйте прозрачность в отношении возможностей и ограничений ИИ, избегая чрезмерной зависимости или слепого доверия. |
| Планирование на случай непредвиденных обстоятельств | Разрабатывайте надежные планы резервного копирования и восстановления для систем, управляемых или затронутых ИИ. |
Заключение
Инциденты в AWS с участием Kiro и Amazon Q Developer подчеркивают сложные проблемы и возможности, связанные с интеграцией агентного ИИ в критически важные операционные системы. В то время как Amazon приписывает проблемы ошибкам пользователей и неадекватным средствам контроля доступа, внедрение новых мер безопасности указывает на более широкое признание необходимости надежного надзора и тщательного управления автономными возможностями ИИ. Поскольку инструменты ИИ становятся все более сложными и интегрированными, совершенствование сотрудничества между человеческим надзором и автономностью ИИ остается первостепенным для предотвращения непредвиденных сбоев и обеспечения стабильности системы.