- От персептрона до GAN: только практические кейсы
- Добавите 8 проектов в портфолио
- Гибкая учебная траектория, поддержка сообщества экспертов, консультации с ментором
- Формат обучения — Онлайн
- Уровень на выходе — Миддл+
- Для кого — Дата-сайентистов, инженеров данных, программистов и разработчиков
Глубокое обучение — это суперсила
С его помощью вы можете заставить компьютер видеть, создавать новые произведения искусства, переводить на разные языки, ставить диагноз или создавать механизмы, которые могут управлять сами собой. Если не это суперсила, я даже и не знаю, что это тогда.
Чему вы научитесь на курсе
- Работать с многомерными свёртками
Padding & stride, Pooling и LeNet. AlexNet, VGG, NiN, GoogLeNet, ResNet и DenseNet станут рабочими инструментами, а не запросами в поисковике
- Управлять историей
И это не только про ваш прогресс в обучении: овладеете конкурентным преимуществом в задачах с использованием Beam-Search и Teacher Forcing
- Реализовывать NLP с нуля
От классических RNN, GRU и LSTM до топовых Encoder-Decoder архитектур. Токенизация, словари, символы и подробный разбор различных реализаций сетей
- State-of-art сегментации
Готовы к прикладным задачам: Object Detection, Object Localization, Bounding boxes и AnchorBoxes. Углубитесь в CNN
- Отличать дескриминатор от генератора
Обучите генератор выбирать данные из линейной регрессии. Реализуете сеть генерации покемонов и обучите её
- Строить языковые модели
NLP в 2019 году растёт быстрее остальных сетей. NER и машинный перевод: от Word2Wec до определения тональности и преобразования текста
Для кого этот курс
- Для дата-сайентистов
- Для инженеров данных
- Для программистов и разработчиков
Нейронные сети — лишь один из инструментов машинного обучения, однако именно с ними связаны все выдающиеся и наиболее интересные прорывы современного искусственного интеллекта. Голосовые помощники, алгоритмы, обыгрывающие людей в компьютерные игры, чат-боты и распознавание людей на фотографиях — за всем этим стоят они.
Овладеть этой наукой (или искусством) сейчас просто как никогда: у нас есть мощные библиотеки, готовые архитектуры, позволяющие получать отличные результаты даже начинающим.
Как будем учиться
- 10+ часов в неделю интенсивных уроков и практики с экспертами отрасли
- 5 предметных областей, освоенных на прикладных задачах
- 40 практических заданий с обратной связью от преподавателей
- 1000+ активных экспертов, менторов, студентов сообщества Data Science Нетологии
- 8 проектов в портфолио, включая выпускной MVP-проект
- 1 — после защиты диплома выдаём удостоверение о повышении квалификации
Программа курса
32 часа теории, 43 часа практики
Научитесь работать с многомерными свёртками, реализовывать NLP с нуля, строить языковые модели.
Пререквизиты
Напомним, что важно знать и уметь, чтобы учиться на курсе:
— уметь программировать на Python;
— знать основы машинного обучения (терминология, основные метрики, которые используются при решении задач машинного обучения: accuracy, precision, recall, MSE);
— знать библиотеки pandas, numpy, sklearn.
- 2 часа теории
- Python & NumPy & etc
- Линейная алгебра
- Дифференцирование
- Тервер и матстат
- Теорема Байеса
Персептрон
Изучите основны глубокого машинного обучения. Научитесь работать с тензорами, строить простейшую нейронную сеть и цикл обучения сети.
- 2 часа теории
- 2 часа практики
- Линейная регрессия
- Логистическая регрессия
- Персептрон
Многослойная нейронная сеть
Научитесь строить многослойную сеть со слоями для регуляризации и использовать различные оптимизаторы.
- 2 часа теории
- 2 часа практики
- Многослойный персептрон
- Переобучение & недообучение
- Регуляризация
- Градиентный спуск
Свёрточные сети
Научитесь использовать различные элементы архитектур для проектирования и создания сетей, а также предобученные сети — Fine-tuning.
- 2 часа теории
- 2 часа практики
- Свёртки
- Padding and stride
- Pooling
- LeNet
Современные свёрточные архитектуры
Изучите основные этапы развития свёрточных сетей и применяемые подходы и архитектуры.
- 2 часа в теории
- 2 часа практики
- AlexNet
- VGG
- NiN
- GoogLeNet
- ResNet
- DenseNet
Рекуррентные сети
Научитесь строить рекуррентные нейронные сети с использованием emmbedding-слоя. Сможете генерировать текст на основе символьной rnn-модели. Разберёте недостатки и проблемы классических рекуррентных сетей. Узнаете, как устроены GRU и LSTM-ячейки и как их использовать. Научитесь строить многослойные и двунаправленные нейронные сети. Потренируетесь решать задачи машинного перевода на основе рекуррентных сетей.
- 6 часов теории
- 6 часов практики
- Обработка текстов
- Рекуррентная сеть
- Backpropagation through time
- Проблемы классических RNN
- GRU и LSTM
- Различные типы задач recurrent-networks
- Deep RNN
- BiRNN
- Encoder-Decoder архитектура
Механизм внимания
Научитесь встраивать механизм внимания в рекуррентные сети.
- 2 часа теории
- 2 часа практики
- Attention
- Beam Search
Компьютерное зрение
Научитесь использовать готовые реализации структурных элементов алгоритмов для детекции на основе нейронных сетей с помощью пакета torchvision. Узнаете, как строить нейронные сети типа U-net для решения задачи семантической сегментации. Научитесь применять подход градиентного спуска для модификации картинки. Разберётесь, как переносить стиль с картинки на картинку.
- 6 часов теории
- 6 часов практики
- Object Detection
- Region Based CNN
- Семантическая сегментация и подготовка датасета
- Deconvolution (Transposed Convolution)
- Fully Convolutional Network
- Перенос стиля
- Определение пород собак
Работа с текстом
Научитесь строить векторизаторы слов на основе нейронных сетей. Разберётесь, как применять готовые реализации векторизаторов и использовать предобученные веса. Научитесь строить нейронные сети на основе архитектуры Transformer. Сможете решать задачу классификации текста с использованием трансформеров.
- 4 часа теории
- 4 часа практики
- Embeddings
- Word2Wec
- FastText
- Transformer
- Bert
- Elmo
GAN
Научитесь применять обычные и вариационные автоэнкодеры и строить архитектуру генеративных состязательных сетей.
- 2 часа теории
- 2 часа практики
- Базовая архитектура
- Идея дискриминатора и генератора
Итоговый проект
Вы самостоятельно выберете тему диплома и в течение месяца будете работать над проектом под руководством экспертов курса. По итогу вы защитите диплом перед экспертом.
Дипломные работы на курсе
Дипломная работа по RL
Искусственный интеллект, выживающий в экстремальных условиях, — на примере ядовитого озера в игре Doom. Реализуем градиентные политики, которые переводят состояние в действие вместо традиционных функций значения, которые сообщают нам об ожидаемой сумме наград.
Дипломная работа по текстам
Чат-бот, поддерживающий переписку с человеком. Выбор методов широк: от двухнаправленного LSTM до Transfer Learning, от sequence-to-sequence моделей с многоцелевым механизмом внимания до одного из многочисленных GAN.
Дипломная работа по изображениям
Восстановление 3D-модели по набору фотографий с разных ракурсов, в том числе невидимых частей. Благодаря архитектуре CNN выполним прямую регрессию объёмного представления трёхмерной геометрии объекта из 2D-изображения.
Гарантия возврата денег
У вас есть три занятия, чтобы попробовать. Если передумаете учиться, скажите — и мы вернём вам всю сумму.
Что вы получите в результате обучения
Достигнутые результаты
- Применены все 5 методов градиентного спуска к логистической регрессии. Реализован график функции потерь в зависимости от эпохи
- Обучен многослойный персептрон с DroupOut и регуляризацией
- Построена модель авторегрессии и спрогнозирована функция синус
- Реализована собственная RNN Cell и обучена языковая модель
- Выбрана оптимальная Encoder-Decoder архитектура для задачи внимания (Attention)
- Реализована State-of-art сегментация для задач Object Detection
- Применена FCN и UNet к задаче сегментации
- Реализовано распознавание номеров домов
- Предсказана вероятность выпадения следующего слова на основе цепей Маркова
- Реализована и обучена сеть генерации покемонов
Мы поможем с трудоустройством
Вас ждёт бесплатная программа трудоустройства Центра развития карьеры
Курс для начинающих программистов, аналитиков и студентов технических специальностей, желающих разобраться с нуля, как строить современные решения на основе методов глубокого обучения.
Что даст вам этот курс
- Повторим с вами необходимые области математики: теорию информации, теорию вероятности, линейную алгебру и основы анализа.
- Изучим основные библиотеки и фреймворки для машинного обучения работы с нейронными сетями: от NumPy до TensorFlow.
- Решим классические задачи глубокого обучения по всем основным направлениям: «Компьютерное зрение», «Обработка естественных языков», «Обучение с подкреплением», «Генеративные сети».
После прохождения курса вы:
- Сможете пройти собеседование на должность Junior Deep Learning Engineer;
- Научитесь решать задачи машинного обучения с помощью нейронных сетей, такие как: генерация рукописных цифр, самообучающийся бот для игры в крестики-нолики, классификация изображений и т. д.;
- Будете знать теорию, необходимую для прохождения продвинутых курсов. Карта курсов направления Data Science в OTUS
- Научитесь работать с нейронными сетями с использованием фреймворков PyTorch, Tensorflow, Keras
- Изучите теорию и практику по таким важным направлениям Deep Learning, как Computer Vision, NLP, обучение с подкреплением
- Самый современный материал про глубокое обучение
- Программа подготовлена признанным экспертом по глубокому обучению
Необходимые знания
- Математика на уровне средней школы.
- Владение языком программирования Python на базовом уровне.
Программа обучения
В процессе обучения вы получите комплексные знания и навыки.
Модуль 1. Пререквизиты
Тема 1. Обзорное занятие
Тема 2. Градиентный спуск. Математика
Тема 3. Градиентный спуск. Вывод
Тема 4. Numpy
Тема 5. Распределения и информация
Тема 6. PyTorch
Тема 7. Логрегрессия на pytorch
Модуль 2. Нейронные сети
Тема 8. Взрыв и затухание градиентов
Тема 9. TensorFlow
Тема 10. Линейная регрессия на TensorFlow
Тема 11. Переобучение и регуляризация
Тема 12. Автокодирование
Тема 13. Вариационный автокодировщик
Тема 14. AutoML
Модуль 3. Глубокое обучение
Тема 15. Сверточные сети. Классифицируем MNIST
Тема 16. Сверточные сети, fine-tunning
Тема 17. Обучение с подкреплением. Q-learning для TicTacToe
Тема 18. Generative Adversarial Networks (GANs)
Тема 19. Рекуррентные сети
Тема 20. Transformers
Тема 21. Что дальше? Обзор направлений DL
Модуль 4. Проектный модуль
Тема 22. Выбор темы и организация проектной работы
Тема 23. Консультация по проектам и домашним заданиям
Тема 24. Защита проектных работ
Примеры тем проекта:
- обучение с подкреплением. Нейронная сеть для игры в крестики-нолики;
- компьютерное зрение. Генерация новых изображений;
- обработка естественных языков. Посимвольная генерация текста.
По итогам курса вы:
- Научитесь применять алгоритмы deep learning для решения бизнес-задач
- Углубите знания Data Science
- Обучите 7 нейронных сетей
- Поучаствуете в командных соревнованиях на Kaggle
Машинное обучение — одна из самых быстрорастущих областей знаний! Инвестиции в машинное обучение вырастут в 5 раз в течение ближайших 3 лет. И Deep Learning — это передний край данной индустрии.
Вы сможете пройти этот курс, если у вас есть базовое понимание машинного обучения и знание языка Python. В рамках курса вы пройдете полный путь от аренды GPU-сервера, который подходит для Deep Learning, вплоть до создания полноценной рабочей модели для компьютерного зрения, анализа естественного языка и рекомендательных систем.
Курс познакомит с основными библиотеками для Deep Learning, такими как TensorFlow, Keras и другими.
Курс из специализации Data Science
- Python
- Math&Stat
- Machine Learning
- Deep Learning
- Data Engineering
- Менеджмент
Программа курса
МОДУЛИ
1
Введение в искусственные нейронные сети
Создаем нейронную сеть для распознавания рукописных цифр на языке Python
2
Фреймворки для глубокого обучения (TensorFlow, Keras)
Создаем модель распознавания изображений на базе датасета FashionMNIST и фреймворка Keras
3
Сверточные нейронные сети
Распознаем изображения в датасете CIFAR-10 с помощью сверточной нейронной сети
4
Оптимизация нейронной сети
Улучшаем скорость и производительность сетей для кейса предыдущего модуля
5
Transfer learning & Fine-tuning
Дообучение нейронной сети ImageNET для решения задачи классификации изображений
6
Обработка естественного языка (NLP)
Создаем нейронную сеть для распознавания рукописных цифр на языке Python
7
Сегментация и Детектирование объектов
Проектируем нейронную сеть для сегментации и обучаем нейросеть решать задачу детекции
8
Обучение с подкреплением (Reinforcement Learning)
Создаем агента для игры в Pong на основе DQN алгоритма
9
What’s next? Продвинутые нейронные сети
Знакомимся с другими областями применения нейросетей. Создаем нейросеть GAN для генерации изображений
Отзывы на сайте.
Слушатели смогут познакомиться с моделями на основе искусственных нейронных сетей, а также теорией, описывающей их работу. Будут рассмотрены примеры решений задач распознавания изображений и анализа текстов, с использованием библиотеки Tensorflow. Программа подразумевает обширную практическую часть и большое количество самостоятельной работы.
По завершении программы вы будете понимать, как работают модели на основе нейронных сетей, на что они способны на данный момент и каковы их ограничения. Вы получите практический опыт решения реальных задач и разработки с Tensorflow.
Программа курса
- Ведение в нейросети.
- Адаптивные варианты градиентного спуска.
- Алгоритм обратного распространения ошибки.
- Инструменты в Python для обучения нейронных сетей.
- Батч-нормализация. Инициализация. Эвристики для обучения сетей.
- Свёрточные нейронные сети.
- Resnet. Transfer learning. Metric Learning.
- Интерпретация свёрточных нейронных сетей. Перенос стиля.
- Автокодировщики, вариационные автокодировщики.
- Генеративные нейронные сети.
- Введение в NLP, word2vec, эмбеддинги.
- Рекурентные неросети, LSTM, GRU.
- Свёрточные сети для NLP.
- Fasttext, ELMO. Transformer models. BERT.
- Seq2Seq модели.
- Введение в RL. Введение в байесовские нейронные сети.
Какие проекты вы сможете сделать
- Диагностика диабетической ретинопатии по изображению сетчатки глаза с помощью нейронной сети
- Анализ новостного потока информационного агентства Reuters и его влияния на движение финансовых рынков
- Диагностика диабетической ретинопатии по изображению сетчатки глаза с помощью нейронной сети
- Создание словаря для близкородственных языков на основе неразмеченных корпусов с помощью представлений слов
- Микросервисный фетчер для масштабируемого веб-краулера средствами языка Go и фреймворка gRPC
- Задача преобразования чёрно-белого фильма в RGB HD 60fps
- Детектирование физиологических сигналов по видео
- Онлайн мониторинг тональности русскоязычных новостей на основе методов анализа естественного языка
- Оценка достоверности предсказаний модели, определяющей численность массового скопления людей на изображении
Что входит в программу
2 проекта
Проекты выполняются в рамках домашнего задания (7−10 часов в неделю) и основаны на реальных кейсах. Работа будет вестись в двух форматах: 1) работа с Google Colab для итерационной работы и подбора правильной архитектуры нейронной сети, 2) работа с AWS Spot Instances — для длительного обучения моделей.
8 занятий
Проводятся в прямом эфире. Видеозаписи доступны в личном кабинете. Занятия устроены так, что преподаватель проводит обзор трендов, рассказывает об устройстве архитектур, демонстрирует практические кейсы, показывая подводные камни и best practices.
1 туториал
Дополнительное задание и туториал по разметке данных на крауд-платформе «Яндекс.Толока». Разметить данные бывает достаточно непросто. Поэтому важно правильно поставить задачу для исполнителей и сформировать стимулы для качественного выполнения работы.
Чему вы научитесь
В нашей программе есть две составляющих
Компьютерное зрение
Научитесь предобработке изображений и их последующей классификации.
Проект: классификация типов комнат и помещений по фотографии в рамках задачи для создания виртуальной примерки интерьера.
Natural Language Processing
Научитесь задачам генерации и классификации текстов с использованием Deep Learning.
Проект: классификация интентов для чат-бота в рамках задачи по созданию голосового ассистента службы поддержки
Часть 1. Введение в Deep Learning
и классификация изображений
- Обзор современных возможностей нейронных сетей
- Основы нейронных сетей. Сверточные сети (CNN)
- Case studies: разбор современных архитектур ResNet, VGG, Inception
- Transfer learning
- Детекция и сегментация изображений
- Generative Adversarial Networks (GANs)
Часть 2. Классификация текстов
- Архитектуры в до-трансформерскую эру: CNN и RNN (LSTMs). Реализация классификатора на основе обеих архитектур
- Sequence-to-sequence tagging напримере чат-бота
- Encoder-decoder, появление attention и машинный перевод
- Архитектура трансформеров. Языковые модели на основе трансформеров: от BERT до RoBERTa и T5
- Автоэнкодеры. Кластеризация и topic modelling
- Практические моменты: оптимизаторы, регуляризаторы и стратегии изменения learning rate
ЛЕКЦИИ И ЗАДАНИЯ
| Лекция 1: Введение | 20 февраля, 8:40 Мск | О чем курс, что такое machine learning и deep learning, основные домены — computer vision, NLP, speech recognition, reinforcement learning. Ресурсы. | Видео Слайды |
| Семинар 1: Python, numpy, notebooks | Краткий обзор инструментария, необходиомого для курса — Python, Jupyter, numpy. Google Colab как среда выполнения Jupyter Notebooks в облаке. | Видео Материалы | |
| Лекция 2: Элементы машинного обучения | 27 февраля, 8:40 Мск | Обзор задачи supervised learning. K-nearest neighbor как пример простого алгоритма обучения. Тренировочная и тестовые выборки. Гиперпараметры, их подбор с помощью validation set и cross-validation. Общая последовательность действий при тренировке и валидации моделей (Machine Learning Flow). | Видео Слайды |
| Семинар 2: Установка окружения для заданий | Установка окружения, необходимого для решения заданий. Некоторые детали KNN. | Видео | |
| Задание 1, Часть 1: K-nearest neighbor | Знакомство с Python и numpy, реализация K-nearest neighbor classifier руками. Выбор гиперпараметра с помощью cross-validation. | Задание | |
| Лекция 3: Нейронные сети | 6 марта, 8:40 Мск | Линейный классификатор — нейронная сеть с одним слоем. Softmax, функция потерь cross-entropy. Тренировка с помощью стохастического градиентного спуска, регуляризация весов. Многослойные нейронные сети, fully-connected layers. Алгоритм backpropagation. | Видео Слайды |
| Семинар 3: Вычисление градиентов | Детальный разбор вычисления градиентов softmax и cross-entropy. | Видео | |
| Задание 1, Часть 2: Линейный классификатор | Реализация линейного классификатора, подсчет градиентов и тренировка с помощью SGD своими руками. | Задание | |
| Лекция 4: PyTorch и подробности | 13 марта, 8:40 Мск | Backpropagation с матрицами. Введение в PyTorch. Инициализация весов. Улучшенные алгоритмы градиентного спуска (Adam, RMSProp, итд). | Видео Слайды |
| Задание 2, Часть 1: Нейронные сети | Реализация своей собственной многослойной нейронной сети и ее тренировки. | Задание | |
| Лекция 5: Нейронные сети на практике | 20 марта, 8:40 Мск | GPUs. Процесс тренировки и overfitting/underfitting на практике,. Learning rate annealing. Batch Normalization. Ансамбли. Что нового в 2018. | Видео Слайды |
| Задание 2, Часть 2: PyTorch | Реализация нейросети на PyTorch, практика тренировки и визуализации предсказаний модели. | Задание | |
| Лекция 6: Convolutional Neural Networks | 27 марта, 8:40 Мск | Convolution и pooling layers. Эволюция архитектур: LeNet, AlexNet, VGG, ResNet. Transfer learning. Аугментации. | Видео Слайды |
| Задание 3: Convolutional Neural Networks | Реализация Convolutional Neural Networks руками и на PyTorch. | Задание | |
| Лекция 7: Segmentation и Object Detection (Владимир Игловиков) | 3 апреля, 8:40 Мск | Более сложные задачи компьютерного зрения — сегментация (segmentation) и нахождение объектов на изображении (object detection). | Видео Слайды Версия 2017 |
| Задание 4: Hotdog or Not | Использование методов transfer learning и fine tuning на примере распознавания хотдогов. | Задание | |
| Лекция 8: Metric Learning, Autoencoders, GANs | 10 апреля, 8:40 Мск | Metric Learning на примере распознавания лиц, обзор некоторых методов unsupervised learning в DL. | Видео Слайды |
| Лекция 9: Введение в NLP, word2vec | 17 апреля, 8:40 Мск | Краткий обзор области обработки естественного языка и применения deep learning к ней на примере word2vec. | Видео Слайды |
| Задание 5: Word2Vec | Реализация word2vec на PyTorch на маленьком наборе данных. | Задание | |
| Лекция 10: Recurrent Neural Networks | 24 апреля, 8:40 Мск | Применение рекуррентных нейронных сетей (recurrent neural networks) в задачах распознавания естественного языка. Детали архитектуры LSTM. | Видео Слайды |
| Задание 6: RNNs | Использование LSTM для определения части речи (Part of Speech Tagging). Адаптировано из курса Даниила Анастасьева с разрешения автора. | Задание | |
| Лекция 11: Аудио и распознавание речи (Юрий Бабуров) | 1 мая, 8:40 Мск | Применение методов deep learning к задаче распознавания речи. Краткий обзор других задач, связанных с аудио. | Видео Слайды |
| Лекция 12: Attention | 8 мая, 8:40 Мск | Использование механизма Attention в NLP на примере задачи машинного перевода. Архитектура Transformer, современное развитие. | Видео Слайды |
| Лекция 13: Reinforcement Learning | 15 мая, 8:40 Мск | Введение в обучение с подкреплением (reinforcement learning), использование методов deep learning. Базовые алгоритмы — Policy Gradients и Q-Learning | Видео Слайды |
| Задание 7: Policy Gradients | Решение модельной задачи RL — Cartpole с помощью алгоритма REINFORCE на основе Policy Gradients. Подготовлено Сергеем Свиридовым | Задание | |
| Лекция 14: Еще о Reinforcement Learning | 22 мая, 8:40 Мск | Model-based RL на примере AlphaZero. Критика и некоторые возможные пути развития области. | Видео Слайды |
| Задание: Написать пост о статье | Прочитайте и опишите в посте одну из современных статей в области deep learning! | Инструкции | |
| Лекция 15: Заключение | 22 мая, 8:40 Мск | Итоги. Чем можно заняться после курса, чтобы повысить количество Deep Learning в своей жизни. | Видео Слайды |
Start deep learning from scratch! Explore machine learning, data science, artificial intelligence from the ground up — no experience required!
World-class training in AI, deep learning, and data science
Hundreds of thousands of students have already benefitted from our courses. You learn fundamental concepts that draw on advanced mathematics and visualization so that you understand machine learning algorithms on a deep and intuitive level, and each course comes packed with practical examples on real-data so that you can apply those concepts immediately in your own work.
From Beginner to Advanced
Beginners
All you need to start is some calculus, linear algebra, and basic Python coding skills. Just sign up for a course and start soaking in knowledge!
Intermediate
Already have some experience plug-and-playing with Sci-Kit Learn? Find out what goes on under the hood and the pros and cons of each algorithm.
Advanced
Want to learn stuff that hasn’t even been published in the textbooks yet? We distill current research into a more student-friendly format so it’s more digestible to the average developer.
Industrial
Looking to advance your career? Data scientists and machine learning engineers are some of the highest-paid, valued employees today. No one else can PROVE their business recommendations will lead to increased profits using cold, hard data.
Школа глубокого обучения (Deep Learning School) — учебная организация на базе ФПМИ МФТИ. Мы занимаемся разработкой курсов по искусственному интеллекту для школьников и студентов, интересующихся программированием и математикой. Занятия ведут студенты и выпускиники Физтех-школы прикладной математики и информатики МФТИ.
Цель курсов — познакомить слушателей с теорией и практикой глубокого обучения (нейронных сетей) в интерактивном формате. Мы ведём как очные, так и заочные занятия.
Проект реализуется при поддержке Центра НТИ на базе МФТИ по направлению «Искусственный интеллект»
Почему нейросети?
Практически все сервисы таких крупных компаний, как Google, Яндекс, Facebook, Microsoft, используют нейронные сети для своей работы. Почему? Потому что они крайне эффективны в задачах, связанных с компьютерным зрением (например, Google Photo) и обработкой естественного языка (например, Яндекс.Алиса). И это далеко не все применения нейросетей. Самые современные подходы способны на то, что раньше казалось фантастикой.
Для кого
Если вы интересуетесь математикой и программированием и хотите получить теоретические и практические знания в глубоком обучении, вам сюда. Неважно, старшеклассник вы, студент или старше.
Чему Вы научитесь
Python
- Основы языка Python
- Основы владения Linux и Bash
- Машинное обучение
- Базовые понятия, обучение с учителем
- Линейные модели
- Перцептрон
Инструменты
- Библиотеки Python (NumPy, Matplotlib)
- Инструменты для DL (фреймворки, Google Colab)
Полносвязные нейросети
- Один нейрон
- Многослойная нейросеть
- Практика обучения нейросетей
Математика
- Линейная алгебра
- Основы теории оптимизации
Сверточные нейросети
- Классификация изображений
- Сегментация картинок
- Детектирование объектов
- Перенос стиля изображения
Become a Machine Learning expert. Master the fundamentals of deep learning and break into AI.
ЧЕМУ ВЫ НАУЧИТЕСЬ
- Build and train deep neural networks, identify key architecture parameters, implement vectorized neural networks and deep learning to applications
- Train test sets, analyze variance for DL applications, use standard techniques and optimization algorithms, and build neural networks in TensorFlow
- Build a CNN and apply it to detection and recognition tasks, use neural style transfer to generate art, and apply algorithms to image and video data
- Build and train RNNs, work with NLP and Word Embeddings, and use HuggingFace tokenizers and transformer models to perform NER and Question Answering
ПРИОБРЕТАЕМЫЕ НАВЫКИ
- Artificial Neural Network
- Convolutional Neural Network
- Tensorflow
- Recurrent Neural Network
- Transformers
- Deep Learning
- Backpropagation
- Python Programming
- Neural Network Architecture
- Mathematical Optimization
- hyperparameter tuning
- Inductive Transfer
The Deep Learning Specialization is a foundational program that will help you understand the capabilities, challenges, and consequences of deep learning and prepare you to participate in the development of leading-edge AI technology.
In this Specialization, you will build and train neural network architectures such as Convolutional Neural Networks, Recurrent Neural Networks, LSTMs, Transformers, and learn how to make them better with strategies such as Dropout, BatchNorm, Xavier/He initialization, and more. Get ready to master theoretical concepts and their industry applications using Python and TensorFlow and tackle real-world cases such as speech recognition, music synthesis, chatbots, machine translation, natural language processing, and more.
AI is transforming many industries. The Deep Learning Specialization provides a pathway for you to take the definitive step in the world of AI by helping you gain the knowledge and skills to level up your career. Along the way, you will also get career advice from deep learning experts from industry and academia.
Проект прикладного обучения
By the end you’ll be able to
- Build and train deep neural networks, implement vectorized neural networks, identify architecture parameters, and apply DL to your applications
- Use best practices to train and develop test sets and analyze bias/variance for building DL applications, use standard NN techniques, apply optimization algorithms, and implement a neural network in TensorFlow
- Use strategies for reducing errors in ML systems, understand complex ML settings, and apply end-to-end, transfer, and multi-task learning
- Build a Convolutional Neural Network, apply it to visual detection and recognition tasks, use neural style transfer to generate art, and apply these algorithms to image, video, and other 2D/3D data
- Build and train Recurrent Neural Networks and its variants (GRUs, LSTMs), apply RNNs to character-level language modeling, work with NLP and Word Embeddings, and use HuggingFace tokenizers and transformers to perform Named Entity Recognition and Question Answering
Специализация включает несколько курсов: 5
КУРС 1
Нейронные сети и глубокое обучение
In the first course of the Deep Learning Specialization, you will study the foundational concept of neural networks and deep learning.
By the end, you will be familiar with the significant technological trends driving the rise of deep learning; build, train, and apply fully connected deep neural networks; implement efficient (vectorized) neural networks; identify key parameters in a neural network’s architecture; and apply deep learning to your own applications. The Deep Learning Specialization is our foundational program that will help you understand the capabilities, challenges, and consequences of deep learning and prepare you to participate in the development of leading-edge AI technology. It provides a pathway for you to gain the knowledge and skills to apply machine learning to your work, level up your technical career, and take the definitive step in the world of AI.
КУРС 2
Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and Optimization
In the second course of the Deep Learning Specialization, you will open the deep learning black box to understand the processes that drive performance and generate good results systematically.
By the end, you will learn the best practices to train and develop test sets and analyze bias/variance for building deep learning applications; be able to use standard neural network techniques such as initialization, L2 and dropout regularization, hyperparameter tuning, batch normalization, and gradient checking; implement and apply a variety of optimization algorithms, such as mini-batch gradient descent, Momentum, RMSprop and Adam, and check for their convergence; and implement a neural network in TensorFlow. The Deep Learning Specialization is our foundational program that will help you understand the capabilities, challenges, and consequences of deep learning and prepare you to participate in the development of leading-edge AI technology. It provides a pathway for you to gain the knowledge and skills to apply machine learning to your work, level up your technical career, and take the definitive step in the world of AI.
КУРС 3
In the third course of the Deep Learning Specialization, you will learn how to build a successful machine learning project and get to practice decision-making as a machine learning project leader.
By the end, you will be able to diagnose errors in a machine learning system; prioritize strategies for reducing errors; understand complex ML settings, such as mismatched training/test sets, and comparing to and/or surpassing human-level performance; and apply end-to-end learning, transfer learning, and multi-task learning. This is also a standalone course for learners who have basic machine learning knowledge. This course draws on Andrew Ng’s experience building and shipping many deep learning products. If you aspire to become a technical leader who can set the direction for an AI team, this course provides the «industry experience» that you might otherwise get only after years of ML work experience. The Deep Learning Specialization is our foundational program that will help you understand the capabilities, challenges, and consequences of deep learning and prepare you to participate in the development of leading-edge AI technology. It provides a pathway for you to gain the knowledge and skills to apply machine learning to your work, level up your technical career, and take the definitive step in the world of AI.
КУРС 4
Convolutional Neural Networks
In the fourth course of the Deep Learning Specialization, you will understand how computer vision has evolved and become familiar with its exciting applications such as autonomous driving, face recognition, reading radiology images, and more.
By the end, you will be able to build a convolutional neural network, including recent variations such as residual networks; apply convolutional networks to visual detection and recognition tasks; and use neural style transfer to generate art and apply these algorithms to a variety of image, video, and other 2D or 3D data. The Deep Learning Specialization is our foundational program that will help you understand the capabilities, challenges, and consequences of deep learning and prepare you to participate in the development of leading-edge AI technology. It provides a pathway for you to gain the knowledge and skills to apply machine learning to your work, level up your technical career, and take the definitive step in the world of AI.
- КУРС 5
Sequence Models
In the fifth course of the Deep Learning Specialization, you will become familiar with sequence models and their exciting applications such as speech recognition, music synthesis, chatbots, machine translation, natural language processing (NLP), and more.
By the end, you will be able to build and train Recurrent Neural Networks (RNNs) and commonly-used variants such as GRUs and LSTMs; apply RNNs to Character-level Language Modeling; gain experience with natural language processing and Word Embeddings; and use HuggingFace tokenizers and transformer models to solve different NLP tasks such as NER and Question Answering. The Deep Learning Specialization is a foundational program that will help you understand the capabilities, challenges, and consequences of deep learning and prepare you to participate in the development of leading-edge AI technology. It provides a pathway for you to take the definitive step in the world of AI by helping you gain the knowledge and skills to level up your career.
Студенты, изучающие тему «Глубокое обучение», также изучают
- Машинное обучение
- Искусственный интеллект
- TensorFlow
- Нейронные сети
- Обработка и анализ данных
- Python
- Компьютерное зрение
- PyTorch
- Обработка естественного языка
- Машинное обучение с подкреплением
- Keras
- R (язык программирования)
- Анализ данных
- OpenCV
- Визуализация данных
- Сверточные нейронные сети
- Интеллектуальный анализ данных
- Статистика
- Deep Learning A-Z™: Hands-On Artificial Neural Networks
- Learn to create Deep Learning Algorithms in Python from two Machine Learning & Data Science experts. Templates included.
- Complete Guide to TensorFlow for Deep Learning with Python
- Learn how to use Google’s Deep Learning Framework — TensorFlow with Python! Solve problems with cutting edge techniques!
- Data Science: Deep Learning and Neural Networks in Python
- The MOST in-depth look at neural network theory, and how to code one with pure Python and Tensorflow
- Natural Language Processing with Deep Learning in Python
- Complete guide on deriving and implementing word2vec, GloVe, word embeddings, and sentiment analysis with recursive nets
- Tensorflow 2.0: Deep Learning and Artificial Intelligence
- Neural Networks for Computer Vision, Time Series Forecasting, NLP, GANs, Reinforcement Learning, and More!
- Deep Learning: Advanced Computer Vision (GANs, SSD, +More!)
- VGG, ResNet, Inception, SSD, RetinaNet, Neural Style Transfer, GANs +More in Tensorflow, Keras, and Python
- Advanced AI: Deep Reinforcement Learning in Python
- The Complete Guide to Mastering Artificial Intelligence using Deep Learning and Neural Networks
- Deep Learning: Convolutional Neural Networks in Python
- Use CNNs for Image Recognition, Natural Language Processing (NLP) +More! For Data Science, Machine Learning, and AI
- Deep Learning: Advanced NLP and RNNs
- Natural Language Processing with Sequence-to-sequence (seq2seq), Attention, CNNs, RNNs, and Memory Networks!
- Tensorflow Deep Learning — Data Science in Python
- Tensorflow and Keras For Neural Networks and Deep Learning
- Complete Time Series Analysis With Python
- Deep Learning: Recurrent Neural Networks in Python
- GRU, LSTM, Time Series Forecasting, Stock Predictions, Natural Language Processing (NLP) using Artificial Intelligence
- The Complete Self-Driving Car Course — Applied Deep Learning
- Learn to use Deep Learning, Computer Vision and Machine Learning techniques to Build an Autonomous Car with Python
- Deep Learning Prerequisites: Logistic Regression in Python
- Data science, machine learning, and artificial intelligence in Python for students and professionals
- Recommender Systems and Deep Learning in Python
- The most in-depth course on recommendation systems with deep learning, machine learning, data science, and AI techniques
- Deep Learning with Python and Keras
- Understand and build Deep Learning models for images, text and more using Python and Keras
- Modern Deep Learning in Python
- Build with modern libraries like Tensorflow, Theano, Keras, PyTorch, CNTK, MXNet. Train faster with GPU on AWS.
- PyTorch for Deep Learning with Python Bootcamp
- Learn how to create state of the art neural networks for deep learning with Facebook’s PyTorch Deep Learning library!
- Machine Learning with
- Python: from Linear
- Models to Deep Learning
- IBM Deep Learning
- Deep Learning with
- Python and PyTorch
- Deep Learning with
- Tensorflow
- Deep Learning
- Fundamentals with Keras
- Applied Deep Learning
- Capstone Project
- AI for Everyone: Master
- the Basics
- PyTorch Basics for
- Machine Learning
- Introduction to Deep
- Learning
- Fundamentals of TinyML
- Applications of TinyML
- Deploying TinyML
- Tiny Machine Learning
- (TinyML)
- Statistics and Data
- Science
- University of Canterbury
- Text Analytics with
- Python
- Deep Learning and Neural
- Networks for Financial
- Engineering
- Machine Learning and
- Finance
- Fintech: AI & Machine
- Learning in the Financial
- Industry
- Foundations of AI
- Delft University of Technology
- AI in Practice
Алгоритмы машинного обучения требуют структурирования объемов данных, а вместе с тем подразумевают постоянное вмешательство человека в процесс обучения искусственного интеллекта. В противовес им сети глубокого обучения могут структурировать данные самостоятельно, учатся на своих ошибках и не требуют человеческого вмешательства. Механизмы глубокого обучения уже используются для распознавания речи, компьютерного зрения, создания изображений и звуков. В эпоху Big Data, когда количество данных стремительно растет каждый день, глубокое обучение — это ключ на пути к реальному искусственному интеллекту.
- ГЛУБОКОЕ ОБУЧЕНИЕ
- 01 Глубокое обучение
- 02 Глубокие нейросети с прямой связью
- 03 Долгая краткосрочная память
- 04 Искусственные нейронные сети: архитектуры и обучение
- 05 Обучение нейронных сетей
- 06 Машина Гёделя
- 07 Скоростная вероятность
- 08 Глубокая нейронная сеть
- 09 Глубокие нейронные сети: пути применения
- 10 Описание глубин неописуемых: тест о глубоком обучении
Курс предназначен для тех, кто хочет получить практические навыки по созданию собственных проектов с использованием глубоких нейронных сетей. За 20 часов Вы узнаете основы глубокого обучения и поймете, как строить простые нейронные сети. Вы узнаете о моделях YOLO и Mask-RCNN, познакомитесь с фреймворками MMDetection, Keras, научитесь размечать датасеты в Labelme и VGG Image Annotator, и многое другое. Вы овладеете не только теорией, но и поймете, как она применяется на практике. Глубокое обучение – основной научно-технологический прорыв 21 века, который изменит нашу жизнь. Станьте одним из посвященных!
Программа курса
Тема 1. Введение в глубокое машинное обучение
Познакомимся с концептом глубокого обучения, поговорим о зарождении искусственного интеллекта и различных видах нейронных сетей, попробуем демо проекты от NVidia
Тема 2. OpenCV, Numpy, matplotlib и другие библиотеки Python
Для работы с популярными фрэймворками и создания собственных моделей нам потребуется знакомство с языком программирования Python. Простой синтаксис позволяет быстро включиться в процесс и начать работу
Тема 3. GPU, структура нейронных сетей, популярные модели глубокого обучения
Почему мы используем графические процессоры для работы с нейронными сетями? Из чего состоит модель сети? Зачем нужен датасет и для чего его разделять на части?
Тема 4. Датасеты для сверточных нейронных сетей
Загрузчики данных для работы с большими датасетами и расширение данных за счет аугментации
Тема 5. Локализация объектов на изображениях
Почему сеть может обучаться и за счет чего мы можем определять объекты на изображениях, слежение за метриками в режиме реального времени и с визуальным интерфейсом
Тема 6. Обучение нейронной сети, метрики эффективности
Сверточные нейронные сети, их структура, обучение фрэймворка YOLO (You Only Look Once)
Тема 7. Фрэймворк Keras, оптимизация работы сети, transfer learning
Познакомимся с популярным фрэймворком Keras, созданным специально для простой работы с готовыми моделями и для создания собственных моделей. Посмотрим, как можно улучшить работу модели, используя другие конфигурации и применяя техники расширения датасетов
Тема 8. Фрэймворк MMDetection: локализация и сегментация
Наконец, приступим к более комплексным системам, создадим свой набор изображений и постараемся разобраться с аннотациями и конвертацией датасетов
Темы 9, 10. Проектная работа
Закончим наше обучение созданием рабочей модели для распознавания объектов на изображениях, сделанной своими руками. Теперь мы можем использовать наработанный опыт и знания для выполнения домашних или рабочих проектов, связанных с распознаванием объектов
После курса вы научитесь
Читать код фреймворков глубокого обучения
1
Самостоятельно обучать модели для работы с вашим датасетом
2
Добиваться максимальных результатов благодаря пониманию алгоритма работы нейронных сетей
Стать Machine Learning Engineer? С ITEA!
Deep Learning — обучение, которое поможет начинающим специалистам по Machine Learning воплощать собственные решения задач компьютерного зрения. С ITEA ты научишься использовать нейронные сети для обработки естественного языка и прогнозирования временных рядов легко и эффективно.
На курсе ты научишься:
- Пользоваться библиотекой Tensorflow и Keras API
- Использовать нейронные сети для решения реальных задач компьютерного зрения, обработки естественного языка и прогнозирования временных рядов
Обучение Deep Learning: план курса
- Вступление Data science, Machine learning and deep learning
- Что такое нейронная сеть?
- Что делают нейроны?
- Простая нейронная сеть (персептрон)
- Создание простой нейронной сети
- Forward Propagation и Backpropagation
- Современные нейронные сети
- Tensorflow и Keras
- PyTorch
- Создание простой нейронной сети с Keras
- Сверточные нейронные сети
- Слои в CNN
- Feature learning
- Простой классификатор изображений на Keras
- Создание множественного классификатора
- Обработка изображений и их аугментация
- OpenCV
- Аугментация в Keras
- Albumentations
- Transfer Learning для классификации
- Главная идея transfer learning
- ImageNet
- LeNet
- AlexNet
- VGGNet
- GoogLeNet
- ResNet
- ZFNet
- Выявление объектов
- R-CNN
- SSD
- YOLO
- Сегментация изображений
- Fully Convolutional Network (FCN)
- ParseNet
- U-Net
- Mask R-CNN
- SSMA
- DeepLab
- MinkowskiNet
- Генеративно-соревновательные нейронные сети
- Как работают GAN`ы
- Neural style transfer
- Autoencoders
- Создание GAN в Keras
- Обробка естественного языка
- Подготовка текстов
- Задачи NLP: анализ тональности, реферирования текстов, генерация текстов, моделирование тем
- Мешок слов
- Тексты как последовательности
- Features engineering для NLP
- Tf-idf
- Лемматизации и стемминг
- N-grams
- Создание признаков сходства
- Word Embeddings
- Word2vec
- GloVe
- fastText
- Sequence models
- LSTM
- RNN
- GRU
- Transfer Learning для NLP
- XLNet
- BERT
- NER-models
- Моделирование тем и реферирования текстов
- Классические LDA и LSA
- lda2vec
- Familia
- Автоматизация ответов на вопросы через нейронные сети
- QRN
- Attentive LSTM
- HyperQA
- XLNet для ответов на вопросы
- Прогнозирование временных рядов с помощью нейронных сетей
- Обработка временных рядов
- Подготовка признаков для временных рядов
- Простые подходы к прогнозированию временных рядов
- Рекурентные нейронные сети для временных рядов
- LSTMs для одномерных временных рядов
- LSTMs для многомерных временных рядов
- Улучшение глубоких нейронных сетей
- Оптимизация алгоритмов
- Тюнинг гиперпараметров
- Батч-нормализация
- Tensorflow для продакшн
- Tensorflow Extended (TFX)
- TF Serving
- Flask
- Apache
- Презентации курсовых проектов
