Курс посвящен трансформерам — самой востребованной архитектуре нейронных сетей для решения задач в области NLP и приложениях. На курсе подробно разобрано теоретическое устройство трансформеров, много практики на Python, а также проектное задание: сервис, реализующий применение трансформера для решения NLP-задачи.
Чему вы научитесь:
- Разберетесь в теоретическом устройстве механизма внимания
- Узнаете как работают трансформеры
- Научитесь обучать трансформеры на PyTorch самостоятельно
- Познакомитесь с библиотекой huggingface
- Создадите приложение при помощи streamlit
В курсе подробно разобрана схема работы механизма внимания и различные архитектуры трансформеров. Кроме теории в курсе много практических заданий, требующих использования библиотеки PyTorch. На протяжении курса слушатели будут работать над проектом — обучат трансформер для решения NLP-задачи и представят решение в виде готового веб-приложения.
Также в курсе разобраны различные задачи из области NLP, для успешного решения которых необходимы трансформерные архитектуры.
Для кого этот курс:
- Курс подойдет слушателям, увлеченным областью NLP и Deep Learning в целом. Мы ожидаем, что слушатели знакомы с классическими ML- и DL-моделями, а также имеют хороший опыт обучения моделей в Python.
Начальные требования:
- Для успешного прохождения курса от участников ожидается знание классических алгоритмов машинного обучения и базовых DL-архитектур, а также умение обучать ML- и DL-модели в Python.
- Рекомендуются к прохождению первые два курс из линейки: «Основы нейронных сетей и NLP» и «Рекуррентные сети в NLP и приложениях».
Программа курса
- О курсе
- NLP: recap
- Введение в PyTorch
- Attention
- Трансформеры: теория
- Трансформеры: практика
- Библиотека Huggingface для решения задач NLP
- Решение различных задач NLP
- Проект по курсу
Ваш преподаватель: Елена Кантонистова
- Кандидат физико-математических наук, выпускница школы анализа данных Яндекса (ШАД)
