— ИИ-агенты способны самостоятельно принимать решения и вносить изменения в ИТ-инфраструктуру. Известны случаи, когда агент после неудачной попытки выполнить задачу удалял себя и базу данных, с которой работал. Ещё один риск — галлюцинации, когда модель уверенно выдаёт вымышленные сведения. В быту это может быть рекомендация несуществующего фильма. В бизнесе на таком ответе можно построить управленческое решение.
Мы исследуем, какой ущерб может причинить ИИ, в том числе при утечке данных во внешние модели или некорректной работе агентов. Для рынка кибербезопасности отдельный вызов — автономные атаки, которые ИИ сам планирует и проводит. Если атака под управлением человека могла развиваться неделями или месяцами, автономная занимает часы. При этом растут число и плотность атак, а у специалистов остаётся меньше времени на реагирование.
Меняется и сам рынок ПО. Небольшие команды с помощью инструментов Anthropic или OpenAI могут за недели воспроизвести функциональность систем, которые создавались годами. Некоторые корпоративные заказчики, в том числе банки, уже разрабатывают собственные средства защиты. Поставщикам приходится заново определять, какую ценность они дают клиенту. Для руководителей ключевыми остаются сбор достоверных данных о рынке и клиентах и их анализ для принятия решений.