Кому следует посетить
- Руководители и менеджеры по информационной безопасности (ИБ)
- Инженеры по безопасности (специалисты Blue Team и Red Team)
- Специалисты MLOps и ML-инженеры
- Разработчики LLM-агентов и чат-ботов
- Архитекторы сервисов на базе искусственного интеллекта
Предварительные требования
Для успешного прохождения курса рекомендуется базовое понимание принципов машинного обучения и информационной безопасности. Опыт практической работы с ИИ-моделями или в сфере кибербезопасности будет полезен, однако курс рассчитан и на слушателей без глубокого погружения в эти области.
Цели курса
После окончания курса участники смогут:
- Оценивать риски безопасности в проектах с генеративным ИИ и агентными системами, распознавая основные угрозы (от промпт-инъекций до адверсариальных атак).
- Проводить Red Team-тестирование моделей (LLM) для выявления уязвимостей: обнаруживать джейлбрейки, некорректное поведение моделей и другие способы обхода ограничений.
- Реализовывать меры Blue Team-защиты, чтобы повысить устойчивость ИИ-систем к атакам (например, защиту системных промптов, контроль доступа к моделям, мониторинг).
- Учитывать актуальные правовые нормы и стандарты (например, принципы доверенного ИИ, требования AI Act, стандарт ISO/IEC 42001) при разработке и внедрении ИИ-сервисов.
- Применять методологии моделирования угроз для ИИ (MITRE, NIST, MAESTRO и др.) и использовать специализированные инструменты мониторинга и тестирования на практике.
- Внедрять процессы непрерывного тестирования и аудита безопасности ИИ-моделей, своевременно выявляя и устраняя новые уязвимости по мере их появления.
Содержание курса
Генеративные модели искусственного интеллекта открывают бизнесу новые возможности, но одновременно создают и уникальные риски. «Безопасность генеративного ИИ» – это курс, который охватывает весь спектр этих новых вызовов: от понимания того, как злоумышленники могут атаковать ИИ-системы, до освоения эффективных мер защиты и обеспечения соответствия регуляторным требованиям. Программа строится вокруг практических сценариев: участники изучат реальные инциденты 2024–2025 годов, разберут механизмы промпт-инъекций и адверсариальных атак, а затем научатся противодействовать им с помощью современных инструментов и методик.
Обучение включает 8 модулей (лекции с демонстрациями, ~4 академических часа каждый) и 3 практических проекта в формате Red Team / Blue Team. В ходе этих проектов участники на практике попробуют взломать условного ИИ-агента и разработать меры защиты, закрепляя полученные знания. Такой баланс теории и практики позволит приобрести не только знания, но и ценные навыки: все ключевые методики отрабатываются на примерах. К концу курса слушатели будут чётко понимать, что может пойти не так при внедрении генеративного ИИ и какие шаги нужно предпринять, чтобы минимизировать риски.
Для ИТ-специалиста прохождение курса принесёт ряд значимых преимуществ:
- Уникальная экспертиза. Вы получите системные знания о специфических уязвимостях генеративных моделей и методах их устранения. Это редкая на рынке компетенция, которая становится всё более востребованной.
- Практический опыт. Выполняя задания Red Team/Blue Team, вы приобретёте реальный опыт атаки и защиты ИИ-систем. Эти навыки пригодятся при проведении пентестов, расследовании инцидентов и в повседневной работе с AI.
- Знание методик и инструментов. Вы познакомитесь с передовыми подходами к тестированию и мониторингу ИИ (например, многоступенчатые атаки PAIR, Crescendo, AutoDAN-Turbo и Composition of Principles, инструменты типа Llama Guard для фильтрации запросов). Это позволит вам эффективно использовать современные средства в своих проектах.
- Соответствие трендам и требованиям. Понимание принципов Trustworthy AI, деталей AI Act и других нормативов позволит вам внедрять ИИ с соблюдением лучших практик и юридических норм. Вы сможете уверенно общаться с соответствующими подразделениями по вопросам соответствия ИИ-систем требованиям регуляторов.
- Развитие карьеры. Освоив новую область ИБ, вы повысите свою профессиональную ценность. Специалисты, разбирающиеся в безопасности ИИ, находятся на переднем крае технологий и могут претендовать на более ответственные роли в проектах, связанных с AI.