Стремительное развитие и проникновение в цифровую инфраструктуру алгоритмов ИИ несет не только преимущества, но и повышает риски, расширяет поверхность атаки. Использование искусственного интеллекта и обучение его на корпоративных данных может создавать новые уязвимости, результатом которых станут утечки конфиденциальной информации. В этом материале специально для Cyber Media Юрий Чернышов, к.ф.-м.н., доцент УНЦ «Искусственный интеллект» УрФУ, руководитель исследовательского центра UDV Group, анализирует новую угрозу и ее последствия.
Насколько безопасно доверять ИИ внутреннюю информацию
Одним из мероприятий в программе форума Kazan Digital Week 2025 была панельная дискуссия о безопасности искусственного интеллекта, в которой я принимал участие вместе с экспертами из фонда «Сколково», компаний «Яндекс», «Телеком Интеграция», «Фишман», «Аватек», Банк ПСБ. Обсуждение получилось очень содержательным, интересным, и, на мой взгляд, тезисы состоявшейся дискуссии отражают текущее состояние вопроса безопасности технологий искусственного интеллекта: понимание необходимости защиты есть, но сформировавшихся требований регуляции, технологических подходов, методов, инструментов, а также необходимых профильных специалистов — не хватает. Модели искусственного интеллекта, применяемые в корпоративных задачах, обучаются на конфиденциальных корпоративных данных, поэтому перед бизнесом встает серьезный вопрос: насколько безопасно доверять ИИ внутреннюю информацию и не создаются ли при этом новые уязвимости и каналы для утечки конфиденциальных данных?
В РФ в 2025 году была существенно повышена ответственность за утечку персональных данных. Об этом важно помнить, когда речь идет о внедрении даже самых передовых и инновационных технологий. Искусственный интеллект, особенно системы на базе больших языковых моделей (LLM), всё чаще интегрируется в корпоративные процессы и, кроме персональных данных, работает и с другими данными, утечка которых нежелательна для компании: с пользовательской информацией, финансовыми показателями, коммерческой и технологической тайной, объектами интеллектуальной собственности, сведениями о внутренней инфраструктуре предприятия и многим другим. Эта информация представляет интерес для злоумышленников, целью которых может быть не только прямая кража коммерческих секретов, а, например, проведение первичной OSINT-разведки компании и ее первых лиц, нанесение ущерба или использование инфраструктуры в своих целях, компрометация компании и ухудшение ее репутации в интересах недобросовестной конкуренции. Во всех этих сценариях злоумышленник пытается получить доступ к данным с целью хищения, повреждения или злонамеренной модификации. Это является новой серьезной угрозой информационной безопасности, поэтому во фреймворке «OWASP Top 10 LLM» уязвимость под названием Data Leakage (утечка конфиденциальной информации) включена в список десяти наиболее критичных угроз, связанных с большими языковыми моделями и ИИ агентами.
Для систем искусственного интеллекта защита конфиденциальной информации имеет дополнительную сложность, поскольку термин «информация» в этом случае может означать разное, например:
- знания ИИ модели, вложенные в нее при основном обучении (pretrain), или дополнительном специализированном дообучении (finetuning),
- информация в системах хранения и управления знаниями, к которым выполняется доступ через ИИ агентов, решающих конкретные прикладные задачи, в том числе:
- корпоративные базы данных,
- данные систем мониторинга и управления инфраструктурой,
- корпоративный портал,
- CRM,
- система внутреннего документооборота предприятия,
- инструменты разработчиков: репозитории кода git, управление задачами Jira, база знаний Confluence.
- документы, добавляемые с помощью технологии RAG к запросу в ИИ модель, а также сами эмбеддинги (числовые векторы, соответствующие текстовым документам), которые хранятся в векторной базе
- наборы данных (датасеты), на которых обучается и валидируется ИИ модель
- служебные скрипты (промпты), которые могут содержать информацию об инфраструктуре, организационной структуре компании, секреты (конфигурационные файлы, имена пользователей, пароли, авторизационные токены) для доступа к различным системам.
Риски на этапе промпта
Для каждого вида информации в ИИ системах применяются свои методы и инструменты защиты, однако существуют и общие принципы: непрерывный мониторинг и контроль входных и выходных данных, авторизация доступа к ресурсам и минимизация необходимых разрешений доступа, присутствие человека в ключевых точках контроля и принятия решения, постоянный поиск уязвимых мест в системе и проведение проверок защищенности (тестирование на проникновение для ИИ систем). Большинство этих методов составляют содержание новой профессии MLSecOps, то есть обеспечение безопасности процессов в ML проектах.
Сложнее всего защищать знания «внутри» ИИ модели, которые состоят из миллиардов параметров, так как такие знания сложно локализовать алгоритмически, информация распределена среди множества параметров случайным образом. Поэтому нужен тщательный контроль того, какая информация используется при обучении ИИ модели, исключать из обучающей выборки документы, содержащие конфиденциальную информацию или нежелательные сведения и образцы поведения (экстремизм, агрессию). Также конфиденциальная информация может попасть в ИИ модель в ходе взаимодействия с пользователем через пользовательские промпты-запросы. Поэтому необходимо устранить этот риск на этапе анализа промпта-запроса к модели, а также делать дополнительную проверку результата, который дает модель.
При наличии доступа к источникам информации (базам данных, внутренним корпоративным документам на файл-сервере, CRM, корпоративной электронной почте, и т.п.) необходимо реализовывать ролевую модель доступа и применять авторизацию доступа к информации, чтобы ИИ агент не получал доступ к информации, не требующейся ему для выполнения задач. То есть применять тот же подход в вопросах контроля доступа для ИИ агентов, что и для обычных сотрудников.
При открытом пользовательском интерфейсе, позволяющем пользователям (и злоумышленникам) выполнять произвольные запросы к LLM, необходимо организовывать защиту против джейлбрейков, которые заставляют ИИ модели нарушать заложенные при разработке принципы этики и безопасности, а также технологические ограничения.
Где безопасности больше — облако или локальная система
Считается, что развернуть ИИ-систему в собственной локальной защищенной инфраструктуре безопаснее, чем использовать облачные решения. Однако в этом вопросе необходимо учитывать важные технические и организационные детали. Уровень защиты в облачных сервисах сегодня очень высок: они давно находятся в области внимания злоумышленников, работают под большими нагрузками и обрабатывают огромное количество разнообразных запросов. Этот опыт позволил провайдерам облачных ИИ систем сформировать команды специалистов и выстроить процессы, которые повышают уровень информационной безопасности, включая защиту конфиденциальных данных. Открытые модели open-source, напротив, доступны каждому, в том числе злоумышленникам, которые имеют возможность изучать эти модели и искать в них уязвимости в неограниченном объеме времени. Открытые ИИ модели можно установить в полностью изолированной инфраструктуре, в том числе без доступа к Интернету. Но такие модели лишены встроенных механизмов защиты, поэтому для них также необходимо выстраивать собственные процессы мониторинга и реагирования на инциденты, проводить регулярные проверки. И облачные, и локальные решения имеют свои преимущества и ограничения, поэтому выбор подхода должен определяться конкретной задачей и контекстом использования.
Пример, актуальный как для предприятий, так и для обычных пользователей: сегодня существует множество открытых облачных ИИ-сервисов, которые помогают создать презентацию, проанализировать договор или сделать поздравительную открытку. При этом такие сервисы часто запрашивают данные, которые могут быть конфиденциальными: персональную информацию, изображения, схемы, сведения о компании. Подобные решения предоставляют как крупные и надежные провайдеры (например, GigaChat от «Сбер» или YandexGPT от «Яндекса»), так и небольшие неизвестные компании, среди которых могут оказаться злоумышленники. Важно помнить: загружая документ, например текст коммерческого договора, в недоверенную систему, вы фактически раскрываете всю содержащуюся в нем информацию. Если вы не знаете архитектуру и принципы работы ИИ-сервиса, которому передаете данные, или не имеете договорных отношений с поставщиком, где четко определены обязательства по безопасности, стоит понимать, что передача конфиденциальной информации в такую систему небезопасна.
Machine Learning Security Operations — новый подход
Все эти аспекты — выбор архитектуры, защита данных, организация процессов безопасности в системах искусственного интеллекта привели к появлению важной идеологии и, одновременно, новой профессии - MLSecOps.
В основе MLOps/MLSecOps лежит методология DevOps, содержащая инструменты и процессы для оптимизации разработки, повышения скорости вывода продукта в эксплуатацию, улучшения качества и снижения уровня ошибок. Основные задачи DevOps это непрерывный мониторинг и контроль, а также автоматизация задач, возникающих на различных этапах разработки программного обеспечения: написание и валидация кода, хранение и управление версиями кода и конфигурационных файлов, тестирование, сборка системы, управление вспомогательными системными компонентами (контейнеризация, виртуализация, специализированные библиотеки и модули), развертывание в промышленную эксплуатацию. Задачи безопасности в этих процессах решает DevSecOps, в который входят методы контроля и защиты артефактов процесса разработки: контроль качества кода и поиск уязвимостей с помощью анализаторов SAST/DAST, контроль безопасности цепочки поставок сторонних программных модулей и библиотек, безопасность контейнеров и систем виртуализации, а также другие специализированные методы и программное обеспечение, в зависимости от содержания проекта и используемых компонентов.
При появлении машинного обучения (machine learning, ML) усложнилась архитектура проектов, появились новые процессы и артефакты. Существенным отличием в проектах ML является наличие наборов данных (датасетов) и ML моделей, поэтому к новым процессам в ML проектах относятся: сборка/передача/хранение/обработка данных, обучение модели ML, проверка корректности кода модели ML, специализированное тестирование ML (стабильность, устойчивость к помехам в данных), сборка системы и вывод в промышленную эксплуатацию, мониторинг эксплуатации (контроль данных, потребление ресурсов для модели ML, правильность работы). Артефактами ML процессов являются: данные, программные окружения, сами модели ML, программный код, специализированные модули и библиотеки. MLOps это методология решения задач DevOps для ML проектов, а MLSecOps играет ту же роль для MLOps, что DevSecOps для DevOps, то есть защищает процессы и артефакты, возникающие при решении задач MLOps/DevOps: данные, инфраструктуру, модель, специализированные приложения (AI/LLM агенты).
Благодаря такой наследственности в методологиях для MLSecOps многое может быть использовано из MLOps и DevSecOps. Однако существуют новые сложные задачи, для которых пока нет готовых инструментов и подходов, либо они еще не прошли проверку временем и не стабилизировались. Например, не хватает автоматизированных цензоров качества результатов работы LLM систем, поскольку для LLM сложно контролировать качество на уровне содержания и смысла (семантики) ответов, для этого по-прежнему часто привлекают человека эксперта, как на этапе обучения (Reinforcement Learning with Human Feedback, RLHF), так и на этапе валидации в процессе итогового тестирования или эксплуатации. Проблемы могли бы решить эталонные доверенные наборы данных (бенчмарки), которых пока тоже не хватает. И создание таких отраслевых бенчмарков и платформ для независимого тестирования качества работы и безопасности ИИ систем является необходимым условием для прогресса и активного использования ИИ как для производственных задач, так и для обычных пользователей. Важную работу делает в этом направлении созданный в 2024 году «Консорциум исследований безопасности технологий ИИ».
Одной из наиболее сложных задач для MLSecOps является контроль качества работы модели ИИ, поскольку большой проблемой в использовании ИИ являются галлюцинации моделей и информационный сдвиг, из-за которых может исказиться результат. В ML очень сложно анализировать причины ухудшения качества работы модели. Например, тяжело найти причину падения метрики работы модели на 0.1%, что может быть вызвано сдвигом в данных, неправильной моделью, атакой злоумышленника, нарушением работы инфраструктуры или «информационным шумом». MLOps помогает диагностировать причину и принять меры. Или просто быстро вернуть все назад. MLSecOps делает все то же самое, но для безопасности.
Как и в любых других эксплуатируемых системах для систем с GenAI необходимо проводить постоянный поиск и исследование новых возможностей для атак злоумышленников, проводить анализ защищенности всех компонентов системы, включая модели ИИ, в том числе с применением специальных программных средств и методов социальной инженерии. Это требует расширения функционала пентеста, использования новых методик и инструментов.
Важным аспектом, повышающим уровень надежности и защищенности системы с ИИ, является улучшение взаимодействия с пользователями. Это может включать в себя: контроль диалога, отслеживание токсичности, выявление факта применения методов социальной инженерии со стороны пользователя, дополнительные меры аутентификации, в том числе по косвенным признакам, сохранение и использование истории взаимодействия с пользователем. Зачастую проведение специального обучения для пользователей вопросам безопасности работы с ИИ дает очень значимый эффект.
Очень важно накапливать, упорядочивать и распространять лучшие методики и практические сведения о защите ИИ систем. Хорошо, что есть распространяемый мировой опыт в данной области: MITRE, NIST, OWASP, DASF компании DataBricks, NIST AI RMF. Например, 10.09.2025 команда OWASP GenAI Security Project выпустила документ «Threat Defense COMPASS 1.0». Это фреймворк с описаниями проверок безопасности на всех этапах жизненного цикла GenAI-приложений, собранный с опорой на цикл OODA (Observe—Orient—Decide—Act). Описания техник и тактик для атаки и защиты ИИ систем можно найти в MITRE ATLAS. Отечественные исследователи и разработчики также работают в этом направлении, в апреле 2025 года вышла первая российская модель угроз AI: компания Сбер опубликовала модель угроз для кибербезопасности ИИ. Этот документ является очень полезным для повышения уровня осведомленности о возможных угрозах, для планирования и реализации мер защиты. В документе описано 70 угроз для моделей генеративного (GenAI) и предиктивного (PredAI) искусственного интеллекта. Создание подобной модели угроз особенно актуально в свете растущего использования GenAI-моделей в критически важных бизнес-процессах и возникающих, в связи с этим новых киберугроз.
Методы защиты систем с ИИ в настоящее время развиваются, это важно для того, чтобы появляющиеся технологии оставались безопасными, надежными, объяснимыми и управляемыми для человека, соответствовали нормам этики и требованиям регуляции, не выходили за технологические рамки. Компании-разработчики совместно с вузами активно занимаются исследованиями и разработкой систем защиты ИИ. В будущем количество исследований и компаний, занимающихся вопросами безопасности ИИ, включая стартапы, будет увеличиваться, поскольку существует множество открытых для работы ниш: усиление SOC для работы с ИИ системами, разработка и внедрение инструментов полноценного мониторинга инцидентов ИИ, расширение образовательных программ для специалистов по ИБ, разработка методов харденинга инфраструктуры и многое другое.
Компания-разработчик систем ИИ должна обладать необходимой компетенцией в технологиях безопасной разработки DevSecOps и MLSecOps/LLMSecOps, применять эти принципы на практике. Это значит, что анализу защищенности необходимо уделять внимание уже на этапе проектирования архитектуры системы, использовать безопасные паттерны проектирования и безопасного кода, добавлять средства мониторинга защищенности, предусматривать необходимые тесты безопасности. MLSecOps это совокупность процессов, практик и технологий, нацеленных на обеспечение безопасности всего цикла процесса разработки приложений с моделями ИИ, в том числе защищающих доступность, целостность и конфиденциальность моделей и данных. В промышленной разработке и эксплуатации важен непрерывный мониторинг и анализ компонентов создаваемых информационных систем: процессов, интерфейсов взаимодействия, исполняемых инструкций и команд, получаемого и создаваемого контента, пользовательских действий, состояния инфраструктуры. Важнейшими задачами при создании и эксплуатации ИИ систем является постоянный контроль и обеспечение соблюдения норм этики, выполнение требований регуляции.
Вместо итогов
В заключение я хотел бы отметить, что безопасность искусственного интеллекта является стратегической задачей, определяющей доверие к новым технологиям. Развитие ИИ невозможно без системного подхода к защите данных, моделей и инфраструктуры. Именно поэтому методология MLSecOps становится ключевым элементом зрелых ИИ-проектов: она объединяет инженерные практики, процессы мониторинга и методы анализа безопасности, создавая основу для ответственного и безопасного внедрения искусственного интеллекта в бизнес-процессы.
Развитие этой области требует сотрудничества государства, исследовательских центров и компаний-разработчиков, компаний-пользователей ИИ. Только совместными усилиями можно выработать единые стандарты, сформировать отраслевые бенчмарки и создать устойчивую экосистему доверенных решений. Без решения вопросов информационной безопасности для ИИ технологий будет невозможно обеспечить быстрый темп и глубину интеграции ИИ в производственные системы и пользовательские сервисы.
© 2025 ООО "Мегасофт"
