Кому следует посетить
- Руководители и менеджеры по информационной безопасности (ИБ)
- Инженеры по безопасности (специалисты Blue Team и Red Team)
- Специалисты MLOps и ML-инженеры
- Разработчики LLM-агентов и чат-ботов
- Архитекторы сервисов на базе искусственного интеллекта
Предварительные требования
Для успешного прохождения курса рекомендуется базовое понимание принципов машинного обучения и информационной безопасности. Опыт практической работы с ИИ-моделями или в сфере кибербезопасности будет полезен, однако курс рассчитан и на слушателей без глубокого погружения в эти области.
Цели курса
После окончания курса участники смогут:
- Оценивать риски безопасности в проектах с генеративным ИИ и агентными системами, распознавая основные угрозы (от промпт-инъекций до адверсариальных атак).
- Проводить Red Team-тестирование моделей (LLM) для выявления уязвимостей: обнаруживать джейлбрейки, некорректное поведение моделей и другие способы обхода ограничений.
- Реализовывать меры Blue Team-защиты, чтобы повысить устойчивость ИИ-систем к атакам (например, защиту системных промптов, контроль доступа к моделям, мониторинг).
- Учитывать актуальные правовые нормы и стандарты (например, принципы доверенного ИИ, требования AI Act, стандарт ISO/IEC 42001) при разработке и внедрении ИИ-сервисов.
- Применять методологии моделирования угроз для ИИ (MITRE, NIST, MAESTRO и др.) и использовать специализированные инструменты мониторинга и тестирования на практике.
- Внедрять процессы непрерывного тестирования и аудита безопасности ИИ-моделей, своевременно выявляя и устраняя новые уязвимости по мере их появления.
Содержание курса
Генеративные модели искусственного интеллекта открывают бизнесу новые возможности, но одновременно создают и уникальные риски. «Безопасность генеративного ИИ» – это курс, который охватывает весь спектр этих новых вызовов: от понимания того, как злоумышленники могут атаковать ИИ-системы, до освоения эффективных мер защиты и обеспечения соответствия регуляторным требованиям. Программа строится вокруг практических сценариев: участники изучат реальные инциденты 2024–2025 годов, разберут механизмы промпт-инъекций и адверсариальных атак, а затем научатся противодействовать им с помощью современных инструментов и методик.
Обучение включает 8 модулей (лекции с демонстрациями, ~4 академических часа каждый) и 3 практических проекта в формате Red Team / Blue Team. В ходе этих проектов участники на практике попробуют взломать условного ИИ-агента и разработать меры защиты, закрепляя полученные знания. Такой баланс теории и практики позволит приобрести не только знания, но и ценные навыки: все ключевые методики отрабатываются на примерах. К концу курса слушатели будут чётко понимать, что может пойти не так при внедрении генеративного ИИ и какие шаги нужно предпринять, чтобы минимизировать риски.
Для ИТ-специалиста прохождение курса принесёт ряд значимых преимуществ:
- Уникальная экспертиза. Вы получите системные знания о специфических уязвимостях генеративных моделей и методах их устранения. Это редкая на рынке компетенция, которая становится всё более востребованной.
- Практический опыт. Выполняя задания Red Team/Blue Team, вы приобретёте реальный опыт атаки и защиты ИИ-систем. Эти навыки пригодятся при проведении пентестов, расследовании инцидентов и в повседневной работе с AI.
- Знание методик и инструментов. Вы познакомитесь с передовыми подходами к тестированию и мониторингу ИИ (например, многоступенчатые атаки PAIR, Crescendo, AutoDAN-Turbo и Composition of Principles, инструменты типа Llama Guard для фильтрации запросов). Это позволит вам эффективно использовать современные средства в своих проектах.
- Соответствие трендам и требованиям. Понимание принципов Trustworthy AI, деталей AI Act и других нормативов позволит вам внедрять ИИ с соблюдением лучших практик и юридических норм. Вы сможете уверенно общаться с соответствующими подразделениями по вопросам соответствия ИИ-систем требованиям регуляторов.
- Развитие карьеры. Освоив новую область ИБ, вы повысите свою профессиональную ценность. Специалисты, разбирающиеся в безопасности ИИ, находятся на переднем крае технологий и могут претендовать на более ответственные роли в проектах, связанных с AI.
русский
Рассматриваете прохождение данного курса и хотели бы познакомиться с преподавателем нашего учебного центра, задать вопросы и оценить формат обучения перед записью на курс? Приглашаем на бесплатный вебинар в рамках курса - "Как злоумышленники могут атаковать защиту LLM‑чат-ботов".
На вебинаре мы разберём актуальные угрозы для ИИ-систем, покажем реальные примеры атак и расскажем о том, почему многие компании уже создают отделы AI Security. Также обсудим методики защиты и возможности обучения специалистов.
Программа
01 Какую задачу решают LLM и почему они уязвимы
02 Топ‑10 популярных угроз для ИИ‑приложений по версии OWASP
03 Состязательные суффиксы
04 Джейлбрейки DAN, UCAR, AIM
05 Автоматизированный джейлбрейк AutoDAN
06 Автоматизация атак с помощью LLM PAIR
Зарегистрироваться