Многопроцессорный Python

Курс от двукратного лауреата премии Stepik Awards проведёт вас от основ до эксперта в многопроцессорном программировании, содержит всё что вам нужно знать о multiprocessing в python.

Курс состоит из 69 видеоуроков, 397 тестов и 116 интерактивных задач.

Чему вы научитесь:

• Разбираться в основах многопроцессного и многопроцессорного программирования.
• Создавать и управлять процессами с помощью Process, Pool, ProcessPoolExecutor и Manager.
• Организовывать обмен данными между процессами с использованием Queue, Pipe, Value, Array и Manager.
• Использовать примитивы синхронизации, такие как Lock, Semaphore, Event и Barrier.
• Обрабатывать исключения в многопроцессных программах для повышения надёжности.
• Применять знания на практике, оптимизируя задачи и ускоряя вычисления.
• Находить и устранять ошибки в многопроцессном и многопроцессорном коде.
• Экономить ресурсы системы, грамотно распределяя задачи между процессами.
• Понимать многозадачность на практике и управлять одновременным выполнением задач.
• Работать с большими проектами, применяя многопроцессорный и многопроцессный подходы.
• Всё о навыках, которые вы получите, можно узнать в описании содержания курса.

Мы научим вас, как использовать все ядра вашего процессора по максимуму, чтобы ускорять сложные вычисления и прокачивать производительность программ. А ещё вы сможете создавать мощные и масштабируемые приложения, которые легко справляются с большими объёмами данных и реальными нагрузками.

Программа курса

Введение

1. Содержание курса
2. Введение
3. Процессы и потоки
4. Глобальная блокировка интерпретатора GIL
5. Многозадачность в Python
6. Мультипроцессинг против многопоточности
7. Мультипроцессорное программирование в Python

Основы модуля multiprocessing

1. Главный процесс
2. Дочерние процессы
3. Взаимодействие главного и дочерних процессов.
4. Главный поток процесса
5. Получение процесса по имени
6. Как получить PID процесса
7. Получение количества ядер процессора
8. Статус и характеристики процесса
9. Как перезапустить процесс
10. Метод join()
11. Идиома if __name__ == ‘__main__’

Возврат данных из процесса

1. Возвращаем значение из процесса
2. multiprocessing.Value
3. multiprocessing.Array
4. multiprocessing.Pipe
5. multiprocessing.Pipe. Практика
6. multiprocessing.Queue
7. multiprocessing.SimpleQueue
8. multiprocessing.JoinableQueue

Примитивы синхронизации

1. Примитивы синхронизации
2. Многопроцессорный Lock
3. Многопроцессорный RLock
4. Многопроцессорный Event
5. Многопроцессорный Semaphore
6. Многопроцессорная переменная Condition
7. Многопроцессорный Barrier

Убийство процессов

1. Остановка главного процесса дочерним
2. Убийство или завершение процесса
3. Убить процесс по PID
4. Как безопасно убить или завершить процесс
5. Завершение текущего процесса

Менеджеры

1. Что такое Manager
2. Менеджер с примитивами синхронизации и очередями
3. Общее пространство имен с помощью менеджера
4. Пользовательские менеджеры
5. Серверный процесс менеджера
6. Вложенные прокси-объекты у менеджера

Пул процессов ProcessPoolExecutor

1. Знакомство с пулом процессов
2. Отправка задач в пул процессов
3. Возможности объекта Future
4. Ожидание завершения задач, ч1
5. Ожидание завершения задач, ч2
6. Как добавить callback к задаче в ProcessPoolExecutor
7. map() против submit()
8. Настройка пула процессов
9. Обработка исключений при работе с пулом процессов
10. Примитивы синхронизации с пулом процессов
11. Как повторно выполнить неудачные задачи в ProcessPoolExecutor
12. Как работает ProcessPoolExecutor

Пул процессов multiprocessing.Pool

1. Пул процессов multiprocessing.Pool
2. Блокирующее выполнение одиночной задачи
3. Неблокирующее выполнение одиночной задачи
4. Блокирующая отправка группы задач в пул
5. Неблокирующая отправка группы задач в пул
6. Итеративная обработка задач
7. Какой метод выбрать?

Продвинутый уровень

1. Пользовательские процессы
2. Иерархия процессов и задач
3. Почему не стоит использовать только процессы?
4. Потоки в процессах
5. Рекомендации и предостережения

Практика