Для кого этот курс:
- Для опытных специалистов в области компьютерного зрения (от 1 до 3 лет опыта), которые желают расширить свой кругозор в CV, упорядочить и актуализировать знания, углубиться в специфичные задачи компьютерного зрения.
- Для тех, кто самостоятельно освоил CV, но еще не имел возможносоти получить коммерческого опыта в этой сфере.
- Для опытных питонистов, знакомых с компьютерным зрением и нейросетями.
- Для тех, кто прошел курс «Компьютерное зрение» в Отус.
Необходимые знания:
- Уверенное знание Python
- Понимание работы нейросетей и методов глубокого обучения
- Базовые знания по компьютерному зрению
Что даст вам этот курс:
- Продвинутые знания в области компьютерного зрения
- Глубокую теорию и понятную практику от ведущих экспертов в области компьютерного зрения
- Опыт работы с актуальными технологиями: PyTorch 2.0, Vision Transformers, Diffusion models, Generative AI, SAM, action detection, geometry computer vision
- Выпускной проект, который можно будет прикрепить к резюме
- Вы сможете
- Решать любые задачи компьютерного зрения от стадии идеи до продакшена,
- Понимать, как решать ту или иную задачу
- Понимать, какими инструментами воспользоваться и какие сложности и подводные камни могут при этом возникнуть
- Доводить решения от стадии идей и эксперементов до полноценного продакшен кода
Программа курса
Рабочее окружение и библиотеки для CV
Начальный модуль посвящён настройке рабочего окружения и установке библиотек, нужных для обучения на курсе.
- Вводная лекция: задачи, инструменты и программа курса
- PyTorch 2.x: стандартные датасеты и модели torchvision
- Библиотеки компьютерного зрения: OpenCV, Kornia, Hugging Face, OCR
Нейронные сети и глубокое обучение
Знакомство с архитектурами нейронных сетей, применяемых в компьютерном зрении, от свёрточных до современных трансформеров.
- Эволюция свёрточных сетей: от AlexNet до EfficientNet
- Адаптивные методы градиентного спуска
- Трансформеры в задачах зрения
- Self-Supervised Learning: SimCLR, BYOL, FixMatch, MAE, DINO
Стандартные задачи CV
Модуль посвящён основным задачам компьютерного зрения — детекции, трекингу, ре-идентификации и сегментации.
- Object Detection: постановка задачи, метрики, семейство R-CNN
- Object Detection: проблемы многомасштабности, семейство YOLO
- Сегментация: продвинутые методы, 3D-сегментация
- Pose Estimation: 2D и 3D
- Face Recognition: современные подходы (SphereFace, ArcFace, CosFace)
- Object Tracking и ReID
- Выбор темы и организация проектной работы
Генеративные модели
Модуль полностью посвящён генеративным моделям искусственного интеллекта — от автоэнкодеров и GAN до диффузионных и мультимодальных систем.
- Вариационные автоэнкодеры (VAE)
- GAN: постановка задачи и обзор архитектур
- Диффузионные модели
- Stable Diffusion. Multimodal text-to-image generation: IP-Adapter, ControlNet
- Generative Video Models: Stable Video Diffusion, Gen2, MAKE-A-VIDEO
- Multimodal image-to-text generation и visual QA
Продвинутые методы CV
Модуль посвящён современным задачам и инструментам компьютерного зрения — от SAM до стереозрения и SLAM.
- Zero-Shot Learning подходы
- Стереозрение и калибровка камеры
- Геометрические методы в компьютерном зрении
- 3D Reconstruction: MVSNet, NeRF
- SLAM и архитектуры моделей компьютерного зрения для автономного транспорта
- Распознавание и детекция действий на видео
Оптимизация, инференс и подготовка к продакшену
Практический модуль об оптимизации моделей и их развёртывании на сервере.
- Инференс на сервере: TensorRT, ONNX, Triton
- Ускорение работы с видео для инференса нейросетей (бонусное занятие)
- Архитектура проектов по видеоаналитике (бонусное занятие)
Бонусные занятия
Модуль даёт базовые знания и концепции в нейронных сетях и глубоком обучении. Полезен для тех, кто хочет освежить и актуализировать знания, а также для новичков в нейросетях. Рекомендуется пройти перед основными лекциями.
- Сверточные нейронные сети: операции свертки, транспонированной свертки, пуллинг
- Подготовка и аугментация данных
- Градиентный спуск и backpropagation
- Переобучение и регуляризация
- Взрывы и затухание градиентов
