Полный курс по работе с базой данных PostgreSQL
Курс включает в себя все инструменты, которые могут пригодиться как разработчику, так и администратору: управление доступом, резервное копирование, репликация, журналирование, работа со статистикой, способы масштабирование, а также работа PostgreSQL в облаках (AWS, GCP, Azure) и в Kubernetes
Цель курса — научить слушателя эффективно работать с PostgreSQL:
В результате обучения выпускники смогут уверенно работать с PostgreSQL, создавать оптимальные запросы и разбираться с некорректными, работать с индексами, оптимизировать, профилировать и обновлять базы данных.
- Получите навыки, которые позволят работать в качестве PostgreSQL DBA — устанавливать, настраивать, поддерживать и развивать БД под управлением PostgreSQL;
- Научитесь работать с PostgreSQL в различных средах — на базе собственной физической и виртуальной инфраструктуры, в кластере Kubernetes, в публичном облаке (AWS, GCP, Azure)
Для кого:
- для администраторов Linux, которые хотят овладеть или улучшить навыки PostgreSQL DBA;
- для администраторов MySQL/MS SQL/Oracle Server, которые хотят овладеть навыками PostgreSQL DBA;
- для DevOps/SRE, которые хотят улучшить навыки работы с PostgreSQL и научиться новым способам работы с СУБД — Kubernetes, облака;
- для разработчиков, которым необходимо освоить работу с PostgreSQL
На курсе вы:
- научитесь проектировать базы данных и создавать оптимальную структуру их хранения;
- освоите синтаксис и особенности работы в PostgreSQL;
- сможете оптимизировать медленные запросы.
Программа обучения:
В процессе обучения вы получите комплексные знания и навыки.
Модуль 1. Введение
- Тема 1. Реляционные базы, история и место в современном мире
- Тема 2. SQL и реляционные СУБД. Введение в PostgreSQL
- Тема 3. Физический уровень PostgreSQL
- Тема 4. Установка PostgreSQL
Модуль 2. Многоверсионность, журналы и блокировки
- Тема 5. Логический уровень PostgreSQL
- Тема 6. MVCC, vacuum и autovacuum.
- Тема 7. Журналы
- Тема 8. Блокировки
Модуль 3. Администрирование
- Тема 9. Настройка PostgreSQL
- Тема 10. Резервное копирование и восстановление
- Тема 11. Виды и устройство репликации в PostgreSQL. Практика применения
Модуль 4. Оптимизация
- Тема 12. Работа с большим объемом реальных данных
- Тема 13. Виды индексов. Работа с индексами и оптимизация запросов
- Тема 14. Различные виды join’ов. Применение и оптимизация
- Тема 15. Сбор и использование статистики
- Тема 16. Оптимизация производительности. Профилирование. Мониторинг
- Тема 17. Pentaho
- Тема 18. Секционирование
- Тема 19. Хранимые функции и процедуры часть 1
- Тема 20. Хранимые функции и процедуры часть 2
- Тема 21. Хранимые функции и процедуры часть 3
Модуль 5. Высокая доступность и горизонтальная масштабируемость
- Тема 22. Введение в Kubernetes. Часть 1
- Тема 23. Введение в Kubernetes. Часть 2
- Тема 24. Варианты кластеров высокой доступности для PostgreSQL
- Тема 25. Работа с кластером высокой доступности
- Тема 26. Способы горизонтального масштабирования PostgreSQL
- Тема 27. Работа с горизонтально масштабируемым кластером
Модуль 6. PostgreSQL в облаках и Kubernetes
- Тема PostgreSQL и Google Kubernetes Engine
- Тема PostgreSQL и Google Cloud Platform
- Тема 30. PostgreSQL и AWS
- Тема 31. PostgreSQL и Azure
- Тема 32. PostgreSQL и Яндекс Облако
- Тема 33. Подведение итогов курса
Модуль 7. Проектная работа
- Тема 34. Выбор темы и организация проектной работы
- Тема 35. Самый простой back-end на NodeJS
- Тема 36. Веб-приложение с UI и БД
- Тема 37. Консультация по дипломному проекту
- Тема 38. Защита проектных работ.
После обучения вы
заберете с собой:
- презентации и видеозаписи занятий;
- дополнительные материалы;
- образцы кода;
- собственный проект, который можно будет показывать при трудоустройстве;
- сертификат о прохождении обучения.
Кому будет полезен курс:
- Новичкам в аналитике
Узнаете, как самостоятельно извлекать данные для обработки и анализа. Улучшите свои навыки и сможете получить повышение - Маркетологам
Научитесь оперативно получать данные, чтобы оценивать результаты, строить гипотезы и разрабатывать маркетинговые стратегии - Менеджерам проектов и продуктов
Сможете лучше понимать разработчиков и аналитиков и самостоятельно выгружать данные - Финансистам, бухгалтерам и научным сотрудникам
Научитесь выгружать данные и изучать их характеристики с помощью аналитических функций SQL.
SQL — один из основных языков в арсенале дата-сайентистов и аналитиков. Со знанием SQL можно работать во многих сферах: телекоме, финтехе, ритейле и создании мобильных сервисов.
За полтора месяца вы освоите язык запросов SQL и узнаете:
- Где и как получать данные
Познакомитесь с разными источниками данных. Научитесь самостоятельно выгружать данные в нужном виде и формате - Как создавать базы данных
Научитесь создавать собственные базы данных и разберётесь, как работать с хранимыми процедурами и функциями - Что делают разработчики
Поймёте, как выглядит процесс работы с данными — сможете конкретизировать задачи и оценивать работу разработчиков.
Программа
23 часа теориии, 22 часа практики
- Введение в SQL
Узнаете, зачем нужны базы данных (БД). Поймёте, как устроена система управления базами данных (СУБД) и познакомитесь с системой PostgreSQL. Узнаете, что такое схемы, отношения, атрибуты и домены. Установите и настроите необходимое ПО.
- Какие бывают источники данных
- Что такое IDE и DBeaver
- Создание подключений в DBeaver
- Установка локального сервера PostgreSQL Database Server
- Работа с *.backup и *.sql
- Интерфейс DBeaver
- Как создавать запросы
- ER-диаграмма
- Ограничения первичного и внешнего ключей
- Метаданные: использование и доступ.
- Реляционные базы данных
Узнаете, что такое алиасы и как их использовать в работе с различными схемами и таблицами в одном запросе. Разберётесь в основных типах данных PostgreSQL. Узнаете, как фильтровать, сортировать и преобразовывать данные. Поймёте, как работать со строками и датами.
- Простые запросы
- Команда ROUND
- Команды ORDER BY, LIMIT, OFFSET
- Команда DISTINCT
- Логический порядок SELECT
- Условия WHERE
- Команды NULL и NOT NULL
- Kонкатенация
- Команды LIKE и ILIKE
- Методы работы со строками
- Методы работы с датами.
- Ключевые функции для анализа данных с SQL
Напишите простые запросы и изучите сложные. Примените соединения (JOIN) и агрегатные функции (SUM, COUNT, AVG). Разберётесь в хронологии связывания таблиц. Освоите базовые команды: SELECT, WHERE, JOIN, ORDER BY, CASE, UNION, GROUP BY, HAVING. Узнаете, что такое подзапросы.
- Типы соединения: LEFT, RIGHT, INNER, FULL OUTER, CROSS JOIN
- JOIN при работе с уникальными и неуникальными значениями
- Команды UNION и EXCEPT
- Команда CASE
- Агрегация
- Группировка
- Подзапросы. Влияние положения на затрачиваемые ресурсы.
- Углубление в SQL. Продвинутые операции с данными
Узнаете, как работать с таблицами с помощью команд CREATE TABLE, ALTER TABLE, DROP TABLE. Освоите команды INSERT INTO, UPDATE TABLE, DELETE FROM. Поймёте, что такое внешние ключи.
- Создание схемы
- Создание отношений
- Формирование атрибутов, указание типов данных и ограничений
- Модификация структуры отношений
- Внешние ключи
- Внесение данных в отношение
- Изменение данных
- Удаление данных и отношений.
- Работа с PostgresSQL. Часть 1
Научитесь использовать агрегатные функции sum(), count(),avg(), min() и max() в рамках оконной функции. Примените аналитические функции lead(), lag(), dense_rank(). Узнаете, что такое обобщённые табличные выражения и рекурсивные запросы. Научитесь работать с каталогами.
- Оконные функции: простые запросы, накопление, LEAD и LAG
- Команда CTE
- Рекурсия. Применение с каталогами
- Команда GENERATE_SERIES.
- Работа с PostgresSQL. Часть 2
Узнаете, что такое представления. Поймёте, как ускорять запросы и использовать индексы. Начнёте ориентироваться в схемах запросов. Познакомитесь со сложными типами данных.
- Команда VIEW
- Команда MATERIALIZED VIEW
- Применение представлений в денормализации
- План запросов (EXPLAIN ANALYZE)
- Команда JSON
- Команда ARRAY.
- SQL PRO
Платный модуль. Стоимость модуля — 10 000 ₽
Научитесь создавать хранимые процедуры и триггеры. Узнаете, что такое нормализация и денормализация. Изучите основы проектирования и поймёте, какие бывают архитектурные модели данных. Освоите шардирование и партиционирование.
- Работа с консолью и интерактивным режимом
- Создание хранимых процедур
- Создание триггерных функций и триггеров
- 1-5 Нормальные формы
- Денормализация
- Горизонтальное и вертикальное шардирование
- Наследование в PostgreSQL
- Подключение к кластерам используя расширение POSTGRES_FDW
- Архитектурные модели
- Модели данных
- Этапы проектирования базы данных
- Отличие OLTP от OLAP систем.
Итоговая работа
10 часов практики
В конце курса вы самостоятельно развернёте и проанализируете базу данных: опишете структуру, решите бизнес-задачи и сформируете отчёты.
Эксперты помогут вам закрепить полученные знания и навыки — вы получите готовый кейс в портфолио, такая работа выделит вас среди соискателей.
Курс поможет сэкономить время на генерации идей, поиске информации. Спикер научит архитектурным решениям, поможет проверить их в тестовой среде.
Программа курса
Раздел 1. Резервное копирование и восстановление.
- Теория. Научимся делать резервные копии, в том числе инкрементальные, и восстанавливать их. Рассмотрим специализированные инструменты резервного копирования PostgreSQL. Оценим их плюсы и минусы.
- Практика. Исследуем решения по созданию резервных копий (wal-g, barman, pg_probackup). Сломаем резервную копию и попробуем проверить ее на наличие ошибок и восстановить. Рассмотрим способы ускорения восстановления данных и накатки скриптов на восстановленную базу данных, если цель восстановления — развертывания новой базы в новом окружении.
Раздел 2. Репликации: апгрейд кластера и отказоустойчивые решения.
- Теория. Рассмотрим виды репликаций. Их отличия между собой. Оценим риски каждого решения. Изучим кластеры высокой доступности и особенности их использования. Поговорим о мониторинге этих решений.
- Практика. Создадим физическую потоковую репликацию в синхронном/асинхронном режиме. Смоделируем сбой основного сервера и переключим работу на резервный сервер. Создадим каскадную репликацию.
- Развернем отказоустойчивое решение при помощи логической репликации и сделаем мажорное обновление. Рассмотрим способы отката обновления.
Раздел 3. Мониторинг, траблшутинг и оптимизация запросов
- Теория. Рассмотрим популярные бесплатные решения по мониторингу. Обсудим траблшутинг (поиск проблем и их решения) на основе практических кейсов. Разберем оптимизацию запросов.
- Практика. В кейсах из реальной практики рассмотрим способы оценки производительности кластера. Найдем и устраним узкие места производительности, решим проблему с idle in transaction, с нехваткой места на диске и запаздыванием реплики.
После окончания курса вы:
- Научитесь оценивать состояние кластера в критический момент, принимать быстрые и эффективные решения по обеспечению работоспособности кластера.
- Узнаете, как внедрить новое оптимальное архитектурное решение в своей команде, а также сможете лидировать этот процесс.
- сэкономите компании время и деньги путем оптимизации процессов администрирования.
- Поймете, как действовать в случае критических ситуаций с базой данных PostgreSQL и будете знать, где и с помощью какого алгоритма искать проблему.
Пройдя обучение, вы научитесь:
- Проектировать, управлять и работать с реляционными БД;
- Быстро решать стандартные и нестандартные задачи, возникающие в ходе работы;
- Обеспечивать надёжность данных и избегать нештатных ситуаций;
- Настраивать и оптимизировать производительность БД;
- А также многим другим навыкам.
Курсы:
- Администрирование PostgreSQL. Базовый курс
- Администрирование PostgreSQL. Настройка и мониторинг
- Администрирование PostgreSQL. Резервное копирование и репликация
- Разработка серверной части приложений PostgreSQL. Базовый курс
- Оптимизация запросов.
Вы научитесь читать и писать сложные запросы к базам данных, используя один из самых востребованных языков программирования — SQL и супервостребованную СУБД (систему управления базами данных) — PostgreSQL. Все те знания, которые вы получите на курсе, легко применимы и к другим СУБД, таким как MySQL, Microsoft SQL Server, Oracle.
Изучение SQL это один из самых быстрых способов подняться по карьерной лестнице и начать зарабатывать ещё больше. На курсе вы будете учиться и получать задания для собственной проверки и улучшения понимания материала.
Чему Вы научитесь:
- Введение в SQL: концепции, реляционная модель, инсталляция postgres, создание БД, таблиц, виды отношений, типы данных
- Простые выборки: SELECT, DISTINCT, COUNT, WHERE, AND / OR, BETWEEN, IN, ORDER BY, MIN/MAX/AVG, LIKE, LIMIT, GROUP BY, HAVING, UNION/INTERSECT/EXCEPT, проверки на NULL
- Соединения: INNER, LEFT, RIGHT, SELF, USING и NATURAL JOIN
- Подзапросы: WHERE EXISTS, подзапросы с квантификаторами
- DDL: управление ключами (PK, FK), ограничения, последовательности, INSERT, UPDATE/DELETE/RETURNING
- Проектирование БД: основы, рекомендации, нормальные формы (НФ)
- Представления (Views): основы, создание, обновления через views, опция check
- Логика с CASE WHEN, COALESCE и NULLIF
- Функции SQL: основы, скалярные функции, IN/OUT/DEFAULT, возврат наборов данных
- Функции PL/pgSQL: основы, возврат и присвоение, декларация переменных, логика с if-else, циклы, RETURN NEXT
- Ошибки и их обработка
- Индексы: основы, методы сканирования, виды, EXPLAIN, ANALYZE
- Массивы: основы, создание, нарезка (slicing), операторы, VARIADIC и FOREACH
- Продвинутая группировка с CUBE/ROLLUP
- Пользовательские типы: домены, композитные типы, перечисления
- psql и импорт данных
- Транзакции
- Безопасность
- Оконные функции
- Триггеры
- И многое другое из области изучения и применения языка запросов SQL на практике.
Для кого этот курс:
- Новички в программировании, желающие научиться работать с данными через SQL и PostgreSQL
- Разработчики, кто уже изучил какой-либо язык программирования и хочет разобраться в работе с базами данных и изучить язык запросов SQL с нуля на практике или расширить имеющиеся знания по SQL.
Программа курса:
- ВВЕДЕНИЕ — О КУРСЕ SQL И POSTGRESQL ДЛЯ НАЧИНАЮЩИХ
- ВВЕДЕНИЕ В SQL
- ПРОСТЫЕ ЗАПРОСЫ С SELECT
- СОЕДИНЕНИЯ — JOINS
- ПОДЗАПРОСЫ
- DDL — УПРАВЛЯЕМ БД И ТАБЛИЦАМИ
- ПРОЕКТИРОВАНИЕ БД
- ПРЕДСТАВЛЕНИЯ (VIEWS)
- ЛОГИКА С CASE, COALESCE И NULLIF
- ФУНКЦИИ SQL И PL\PGSQL
- ОШИБКИ И ИХ ОБРАБОТКА
- ПРИВЕДЕНИЕ ТИПОВ ДАННЫХ
- ИНДЕКСЫ
- МАССИВЫ
- ПОЛЬЗОВАТЕЛЬСКИЕ ТИПЫ
- ПРОДВИНУТАЯ ГРУППИРОВКА С CUBE И ROLLUP
- ЗНАКОМСТВО С PSQL
- ИМПОРТ ДАННЫХ
- CTE — COMMON TABLE EXPRESSIONS
- ОКОННЫЕ ФУНКЦИИ
- ТРАНЗАКЦИИ
- ТРИГГЕРЫ
- БЕЗОПАСНОСТЬ В POSTGRESQL
- ЗАВЕРШЕНИЕ КУРСА — ПОЛУЧЕНИЕ СЕРТИФИКАТА.
Вы изучите основы СУБД, научитесь проектировать реляционные базы данных и управлять ими. Будете оптимизировать операционные расходы, оперативно работать с большими объемами информации. Сможете избегать аварийных ситуаций, обеспечивая надежность, и находить эффективные отказоустойчивые решения.
По окончании обучения Вы научитесь работать в базе данных PostgreSQL и управлять ею. А главное – оперативно решать реальные задачи, с которыми столкнётесь в работе. Большинство выпускников курсов PostgreSQL учебного Центра «Специалист» находят высокооплачиваемую работу и строят успешную карьеру.
Курсы Postgres Professional:
Администрирование баз данных
- Администрирование PostgreSQL 10. Базовый курс
- PostgreSQL 10. Оптимизация запросов
- Администрирование PostgreSQL 10. Резервное копирование и репликация
- Администрирование PostgreSQL Настройка и мониторинг.
Разработка
- Разработка серверной части приложений PostgreSQL Базовый курс (обновлен до версии PostgreSQL 12)
- Разработка серверной части приложений PostgreSQL 12. Расширенный курс
- PostgreSQL 10. Оптимизация запросов.
Учебный центр Микротест является авторизованным учебным центром компании Postgres Professional, разработчика российской коммерческой СУБД Postgres Pro.
Основные свойства PostgreSQL.
- Надежность и устойчивость. PostgreSQL, на примере многих проектов, работает без единого сбоя и при больших нагрузках на протяжении нескольких лет.
- Кроссплатформенность. PostgreSQL поддерживает все виды Unix, включая Linux, FreeBSD, Solaris, HPUX, Mac OS X, а также MS Windows.
- Параллельная работа при большой нагрузке. PostgreSQL использует многоверсионность (MVCC) для обеспечения надежной и быстрой работы большого количества одновременных транзакций.
- Масштабируемость. PostgreSQL использует современную архитектуру многоядерных процессоров.
- Расширяемость. PostgreSQL позволяет добавлять новую функциональность, в том числе и новые типы данных, без остановки сервера и своими силами.
- Доступность. Лицензия BSD, не накладывает никаких ограничений на коммерческое использование и не требует лицензионных выплат. Вы можете даже продавать PostgreSQL под своим именем!
- Независимость. PostgreSQLнепринадлежитниоднойкомпании, развивается международным сообществом, в том числе и российскими разработчиками. Независимость PostgreSQL означает независимость вашего бизнеса от вендора и сохранность инвестиций.
- Поддержка. Сообщество PostgreSQL предоставляет квалифицированную и быструю помощь. Коммерческие компании предлагают свои услуги по всему миру.
Образовательный центр компании Postgres Professional занимается созданием обучающих курсов по СУБД «PostgreSQL», сертификацией разработчиков и администраторов баз данных и переводом документации PostgreSQL на русский язык. Огромная экспертиза компании позволяет ей не только определять развитие PostgreSQL, но и разрабатывать собственные курсы с учетом глубокого знания всех нюансов и особенностей работы СУБД.
Postgres Pro – российская коммерческая СУБД, разработанная компанией Postgres Professional с использованием свободно-распространяемой СУБД PostgreSQL, значительно переработанная для соответствия требованиям корпоративных заказчиков.
Курсы по работе с СУБД PostgreSQL:
- Администрирование PostgreSQL 10. Базовый курс
- Администрирование PostgreSQL 10. Настройка и мониторинг
- Администрирование PostgreSQL 10. Резервное копирование и репликация
- Разработка серверной части приложений PostgreSQL 9.6. Базовый курс
- Разработка серверной части приложений PostgreSQL 12. Базовый курс
- PostgreSQL 10. Оптимизация запросов.
Академия АйТи — является авторизованным учебным центром компании Postgres Professional.
Компания Postgres Professional предлагает бизнесу и государственным структурам реальную альтернативу коммерческим СУБД. Postgres Professional — российский вендор PostgreSQL, который осуществляет поддержку полного цикла: IT-аудит, консалтинг, разработка, администрирование, поддержка, обучение. Компания является частью международного сообщества PostgreSQL и объединяет российских экспертов PostgreSQL: всех ведущих российских разработчиков, а также архитекторов и инженеров с опытом создания прикладных решений.
Список курсов:
- Разработка серверной части приложений PostgreSQL. Базовый курс
- PostgreSQL 10. Оптимизация запросов
- Администрирование PostgreSQL. Резервное копирование и репликация
- Разработка серверной части приложений PostgreSQL. Расширенный курс.
- Администрирование PostgreSQL 10. Настройка и мониторинг
- Администрирование PostgreSQL. Базовый курс.
Данный видеокурс посвящен системе управления базами данных (СУБД) PostgreSQL и состоит из 6 уроков, рассчитанных на новичков. Включает в себя как теоретическую, так и практическую часть. В ходе обучения учащиеся спроектируют небольшую базу данных сети продуктовых магазинов, определят необходимую структуру и функционал (индексы, представления, триггеры, функции).
После прохождения курса вы будете понимать принципы проектирования БД, создавать таблицы в соответствии с нормальными формами, а также составлять корректные выборки, используя различные возможности языка SQL.
Чему вы научитесь:
- Применять основные навыки работы с СУБД PostgreSQL
- Проектировать БД, поддерживающие целостность данных, определять необходимые таблицы
- Создавать связи между таблицами
- Понимать назначение индексов, представлений, функций и уметь применять их на практике
- Понимать принцип выполнения транзакций и использовать уровни их изоляции
- Представлять любые необходимые статистические, информационные данные из БД с помощью запросов.
Список видеоуроков:
- Основные понятия баз данных
- Введение в SQL (часть 1)
- Введение в SQL (часть 2)
- JOINS
- Organization of Memory in DB, View, Index
- Triggers, Transactions.
- Каждый курс представляет собой связанный набор тем, последовательно раскрывающих его содержание.
- Каждая тема курса состоит из теоретической части и практики. Теория состоит не только из презентации, но в большинстве случаев включает демонстрацию работы на «живой» системе. В практической части предлагается выполнить ряд заданий для закрепления пройденного.
- Материал поделен по темам таким образом, чтобы теоретическая часть не превышала часа, так как большее время значительно усложняет восприятие. Практика, как правило, не превышает 30 минут.
- В качестве материалов к каждой теме слушателям выдается презентация с подробными комментариями к каждому слайду, а также результат работы демонстрационного скрипта.
Курсы для администраторов
- Администрирование PostgreSQL. Базовый курс
- Администрирование PostgreSQL. Настройка и мониторинг
- Администрирование PostgreSQL. Резервное копирование и репликация
- Оптимизация запросов
Курсы для разработчиков приложений
- Разработка серверной части приложений PostgreSQL. Базовый курс
- Разработка серверной части приложений PostgreSQL. Расширенный курс
- Оптимизация запросов
Курс для разработчиков СУБД
Для разработчиков самой СУБД в 2016 году был проведен курс про внутреннее устройство PostgreSQL, написание расширений и патчей.
- Hacking PostgreSQL.
