Использование ИИ: основные риски для бизнеса, кибератаки и рынок способов защиты.

Раньше мы как безопасники контролировали активы: серверы, сервисы, людей, сейчас появился новый объект защиты — это ИИ-агент. С одной стороны, это крайне полезная штука, которая выполняет хорошие полезные действия, анализирует документы, выполняет рутинные операции, но есть один существенный недостаток — отсутствует критическое мышление. Злоумышленник может ей сказать: сделай операцию и отправь мне миллион долларов на счет, она же не понимает, где просто текст, а где инструкции и какая инструкция корректная, поэтому появился еще один элемент контроля и защиты.

Мы защищаем половину инфраструктуры нашей страны. Недавно провели исследование, исходя из которого, оказалось, что количество данных, которые уходят за периметр организации, которую мы защищаем, за прошлый год выросло в 30 раз. Я думаю, в этом году цифры будут сопоставимые. Основная проблема наших клиентов — это потеря чувствительных данных. На первый взгляд, сотрудник отправляет какой-нибудь договор, в формате: разбери, скажи, что мне сделать, система отвечает, но договор уже «утёк». Сейчас мы видим, что до 40% всех запросов в ИИ-сервисы так или иначе содержат чувствительные данные для наших клиентов. Многие наши клиенты начинают давать полномочия ИИ-агентам на выполнение каких-то действий: отправка писем, создание действий в бизнес-схемах и т. д. Теперь опасность в том, что злоумышленник может дать неверную команду помощнику, а он сольет всю базу данных или отправит ее на какой-нибудь некорректный адрес.

Есть два важных пункта: во-первых, понять, что уходит за периметр, то есть инвентаризация. Во-вторых, дать сотрудникам удобные, хорошие, рабочие, эффективные инструменты, то есть, когда сотрудник внутри компании видит, что у него есть с чем работать с точки зрения ИИ-помощников, он будет работать с предоставленными ИИ-инструментами и не пойдет за пределы компании, соответственно, мы сможем контролировать утечки, попытки атак на наши и сторонние модели, а также большой спектр возможных уязвимостей.

Они стали дешевле, сейчас любой школьник может купить себе сломанную джейлбрейк-модель и организовать с ее помощью атаки на целевых сотрудников, проанализировать инфраструктуру целевой компании и много чего еще. Основная проблема в том, что сейчас классические средства информационной безопасности перестают работать. В моем представлении, главная задача — перевести как можно больше работы с живых людей на ИИ-помощников.

Первое — это автоматизация, всё больше вендоров, включая нас, идут в тотальную автоматизацию. Второе — оперативное реагирование, потому что злоумышленник не ждет. Реагировать необходимо сразу в моменте инцидента. Третье — видеть всю картину в целом, классические инструменты сейчас видят только свой кусочек картинки, а атака может быть направлена на огромный спектр возможных узлов, систем, ИИ-агентов и т. д. Важны не точечные коробочки, а комплексные эко-системы, которые позволяют реализовать общий уровень безопасности.