Машинное обучение: Обработка естественного языка на Python (V2)

Добро пожаловать в раздел «Машинное обучение: Обработка естественного языка на Python (версия 2).

Это обширный курс «4 в 1», включающий в себя:

1. Векторные модели и методы предварительной обработки текста
2. Вероятностные модели и марковские модели
3. Методы машинного обучения
4. Методы глубокого обучения и нейронные сети

В первой части, посвященной векторным моделям и методам предварительной обработки текста, вы узнаете, почему векторы так важны в науке о данных и искусственном интеллекте. Вы узнаете о различных методах преобразования текста в векторы, таких как CountVectorizer и TF-IDF, а также познакомитесь с основами методов нейронного встраивания, таких как word2vec и GloVe.

Затем вы примените полученные знания для решения различных задач, таких как:

• Классификация текстов
• Поиск документов / поисковая система
• Обобщение текста

Попутно вы освоите такие важные этапы предварительной обработки текста, как токенизация, стемминг и лемматизация.

Вы кратко познакомитесь с классическими задачами НЛП, такими как тегирование частей речи.

Во второй части, посвященной вероятностным и марковским моделям, вы узнаете об одной из самых важных моделей в науке о данных и машинном обучении за последние 100 лет. Она применяется не только в НЛП, но и во многих других областях, таких как финансы, биоинформатика и обучение с подкреплением.

В этом курсе вы увидите, как такие вероятностные модели могут быть использованы в различных областях, таких как:

• Построение классификатора текстов
• Генерация текста (создание поэзии)
• Формирование статей

Важно отметить, что эти методы являются необходимой предпосылкой для понимания работы новейших моделей трансформаторов (внимания), таких как BERT и GPT-3. В частности, мы познакомимся с двумя важными задачами, которые соответствуют задачам предварительного обучения для BERT и GPT.

В третьей части, посвященной методам машинного обучения, вы узнаете о более классических задачах НЛП, таких как:

• Обнаружение спама
• Топологическое моделирование
• Латентно-семантический анализ (также известный как латентно-семантическое индексирование)
• Анализ настроения

Этот раздел будет ориентирован на применение, а не на теорию, т.е. вместо того, чтобы тратить большую часть усилий на изучение деталей различных алгоритмов ML, вы сосредоточитесь на том, как они могут быть применены для решения вышеуказанных задач. Конечно, для того чтобы понять суть происходящего, вам все равно придется кое-что узнать об этих алгоритмах.

Будут использоваться следующие алгоритмы:

• Наивный Байес
• Логистическая регрессия
• Анализ главных компонент (PCA) / разложение по сингулярным значениям (SVD)
• Латентное распределение Дирихле (LDA)

Это не просто «какие-то» алгоритмы машинного обучения / искусственного интеллекта, а скорее алгоритмы, которые являются основными в НЛП и поэтому являются неотъемлемой частью любого курса НЛП.

В четвертой части, посвященной методам глубокого обучения, вы узнаете о современных архитектурах нейронных сетей, которые могут применяться для решения задач НЛП. Благодаря своей огромной мощности и гибкости нейронные сети могут быть использованы для решения любой из упомянутых в курсе задач.

Вы узнаете о:

• Искусственные нейронные сети с обратной связью (ИНС)
• Конволюционные нейронные сети (CNN)
• Рекуррентные нейронные сети (РНС)
• Встраивание

При изучении RNN будут рассмотрены современные архитектуры, такие как LSTM и GRU, которые широко используются компаниями Google, Amazon, Apple, Facebook и др. для решения таких сложных задач, как перевод языка, распознавание речи и преобразование текста в речь.Очевидно, что поскольку новейшие трансформеры (такие как BERT и GPT-3) являются примерами глубоких нейронных сетей, эта часть курса является необходимым условием для понимания трансформеров.

Уникальные характеристики:

• Каждая строчка кода подробно объясняется
• Не тратить время на «набор текста» на клавиатуре, как в других курсах — давайте будем честными, никто не сможет написать код, достойный изучения, всего за 20 минут с нуля
• Не бойтесь математики университетского уровня — получите важные детали об алгоритмах, которые другие курсы оставляют без внимания

Чему вы научитесь:

• Как преобразовать текст в векторы с помощью CountVectorizer, TF-IDF, word2vec и GloVe
• Метки частей речи (POS) и распознавание именованных сущностей (NER)
• Препроцессинг текста, токенизация, стоп-слова, лемматизация и стемминг
• Как использовать Python, Scikit-Learn, Tensorflow, +More для NLP
• Трансформаторы обнимающихся лиц (только для VIP)
• Глубокое обучение (ANNs, CNNs, RNNs, LSTM, GRU) (более важные предпосылки для BERT и GPT-3)
• Машинное обучение (Naive Bayes, Logistic Regression, PCA, SVD, Latent Dirichlet Allocation)
• Как реализовать тематическое моделирование с помощью LDA, NMF и SVD
• Как реализовать латентное семантическое индексирование
• Как реализовать резюмирование текста
• Как реализовать спиннер статей
• Как реализовать анализ настроений
• Как реализовать обнаружение спама
• Как реализовать алгоритм расшифровки шифров с использованием генетических алгоритмов и языкового моделирования
• Вероятностные модели, языковые модели и марковские модели (необходимое условие для работы с Transformers, BERT и GPT-3)
• Как реализовать систему поиска документов / поисковую систему / поиск по сходству / векторное сходство

Преподаватель:

Lazy Programmer Inc.

Ленивый программист — опытный онлайн-педагог с непоколебимой страстью к распространению знаний. Имея более чем 10-летний опыт работы, он произвел революцию в области науки о данных и машинного обучения, покорив аудиторию по всему миру своими комплексными курсами и учебными пособиями.

Обладая многопрофильным образованием, Ленивый программист имеет замечательный дуэт магистерских степеней. Первым делом он занялся компьютерной инженерией, специализируясь на машинном обучении и распознавании образов. Затем, не зная границ, он отправился в сферу статистики, изучая ее применение в финансовом инжиниринге.

Признанный первопроходцем в своей области, «ленивый программист» быстро освоил возможности глубокого обучения, когда оно еще только зарождалось. Будучи одним из первопроходцев, он бесстрашно взялся за организацию одного из первых онлайн-курсов по глубокому обучению, что позволило ему занять лидирующие позиции в отрасли.

За пределами сферы образования Ленивый программист обладает бесценным практическим опытом, который сформировал его знания. Его работа в области интернет-рекламы и цифровых медиа принесла поразительные результаты: он поднял на новую высоту показатели кликов и конверсии, а также увеличил доходы компаний, в которых он работал, на миллионы долларов. Как инженер-программист полного цикла, он хорошо знаком с целым рядом бэкенд- и веб-технологий, включая Python, Ruby on Rails, C++, Scala, PHP, Javascript, SQL, большие данные, Spark и Redis.

Хотя его достижения в области науки о данных и машинного обучения поражают воображение, интеллектуальная любознательность Ленивого программиста выходит далеко за рамки этих областей. Его стремление к знаниям заставляет его исследовать такие разнообразные области, как открытие лекарственных препаратов, биоинформатика и алгоритмическая торговля. Вникая в сложности и тонкости этих областей, он стремится раскрыть их потенциал и внести свой вклад в их развитие.

Благодаря неизменной приверженности своим студентам и склонности к упрощению сложных концепций, «Ленивый программист» является влиятельной фигурой в сфере онлайн-образования. Благодаря своим курсам по науке о данных, машинному обучению, глубокому обучению и искусственному интеллекту он помогает начинающим студентам уверенно ориентироваться в запутанном ландшафте этих дисциплин.

Как автор, наставник и новатор, «Ленивый программист» оставил неизгладимый след в мире науки о данных, машинного обучения и не только. Благодаря своей способности разъяснять самые сложные концепции он продолжает формировать новое поколение специалистов по изучению данных и вдохновляет множество людей на собственные интеллектуальные путешествия.

Lazy Programmer Team

Ленивый программист — опытный онлайн-педагог с непоколебимой страстью к распространению знаний. Имея более чем 10-летний опыт работы, он произвел революцию в области науки о данных и машинного обучения, покорив аудиторию по всему миру своими комплексными курсами и учебными пособиями.

Обладая многопрофильным образованием, Ленивый программист имеет замечательный дуэт магистерских степеней. Первым делом он занялся компьютерной инженерией, специализируясь на машинном обучении и распознавании образов. Затем, не зная границ, он отправился в сферу статистики, изучая ее применение в финансовом инжиниринге.

Признанный первопроходцем в своей области, «ленивый программист» быстро освоил возможности глубокого обучения, когда оно еще только зарождалось. Будучи одним из первопроходцев, он бесстрашно взялся за организацию одного из первых онлайн-курсов по глубокому обучению, что позволило ему занять лидирующие позиции в отрасли.

За пределами сферы образования Ленивый программист обладает бесценным практическим опытом, который сформировал его знания. Его работа в области интернет-рекламы и цифровых медиа принесла поразительные результаты: он поднял на новую высоту показатели кликов и конверсии, а также увеличил доходы компаний, в которых он работал, на миллионы долларов. Как инженер-программист полного цикла, он хорошо знаком с целым рядом бэкенд- и веб-технологий, включая Python, Ruby on Rails, C++, Scala, PHP, Javascript, SQL, большие данные, Spark и Redis.

Хотя его достижения в области науки о данных и машинного обучения поражают воображение, интеллектуальная любознательность Ленивого программиста выходит далеко за рамки этих областей. Его стремление к знаниям заставляет его исследовать такие разнообразные области, как открытие лекарственных препаратов, биоинформатика и алгоритмическая торговля. Вникая в сложности и тонкости этих областей, он стремится раскрыть их потенциал и внести свой вклад в их развитие.

Благодаря неизменной приверженности своим студентам и склонности к упрощению сложных концепций, «Ленивый программист» является влиятельной фигурой в сфере онлайн-образования. Благодаря своим курсам по науке о данных, машинному обучению, глубокому обучению и искусственному интеллекту он помогает начинающим студентам уверенно ориентироваться в запутанном ландшафте этих дисциплин.

Как автор, наставник и новатор, «Ленивый программист» оставил неизгладимый след в мире науки о данных, машинного обучения и не только. Благодаря своей способности разъяснять самые сложные концепции он продолжает формировать новое поколение специалистов по изучению данных и вдохновляет множество людей на собственные интеллектуальные путешествия.

Язык: английский + английские субтитры + русские субтитры от OpenAI + русские аудио дорожки машинный перевод + для удобства воспроизведения добавлена отдельная папка с вшитыми видео файлами (русская аудио дорожка + видео файл).

*Аудио перевод произведён с синхронизацией таймингов.