DataOPS c нуля до middle: Полная программа

Данный курс включает в себя первый и самый масштабный курс на русском языке по DataOps — и единственный на платформе Stepik, а также наши курсы Python Engineer с нуля до junior, SQL Engineer с нуля до junior и SQLAlchemy.
Это не просто набор технических уроков — это системный подход к построению современной архитектуры обработки данных с учетом требований знаний Python в процессах автоматизации и работе с данными и администрирования баз данных.

Цель курса — дать практические знания и навыки, необходимые для построения надёжных, автоматизированных и воспроизводимых пайплайнов данных.
Вы разберётесь, как устроены реальные архитектуры в проектах и научитесь работать с ключевыми компонентами DataOps-инфраструктуры. Изучив более глубоко Python и SQL архитектуру Вы сможете расширить свои компетенции в DevOps благодаря знаниям машинного обучения, ООП и большему количеству библиотек и правильному администрированию баз данных. А знание SQLAlchemy будет сильным инструментов в Ваших руках для работы с базами данных с помощью Python.

Содержание курса DataOPS

1. Знакомство с платформой и сдача практических задач

2. Linux, bash, виртуализация

3. Python

4. Контейнеризация. Docker

5. Базы данных, хранилища

6. Системы контроля версий, введение в GIT

7. CI/CD на примере GitLab

8. Sonatype Nexus Repository

9. K8s – Minikube

10. Apache Hadoop

11. Apache Spark

12. Apache Airflow

13. Облачный хостинг (cloud hosting)

14. DBT

15. Ansible

16. Итоговая работа

Содержание курса Python Engineer 

1. Общая информация

2. Введение

3. Начало Python

4. Условные операторы, циклы и try/except

5. Строки

6. Списки и кортежи

7. Словари и множества

8. Функции

9. Модули и пакеты

10. Random и time

11. Decimal / Fractions / Complex

12. IterTools

13. Введение в PyQt5

14. Асинхронность и многопоточность

15. Алгоритмы и сортировки

16. MatPlotLib

17. Что такое матрицы и NumPy?

18. Файлы

19. ООП

20. Машинное обучение

21. NLP

22. OpenCV

23. Чат-боты

24. Что такое SQLAlchemy и Django

25. Итоговый проект

Содержание курса SQL Engineer 

1. Знакомство с платформой и сдача практических работ

2. Что такое базы данных

3. Проектирование баз данных

4. Введение в PostgreSQL

5. Структура SQL-запросов

6. Команды DML

7. Запросы на выборку данных

8. Агрегация и группировка данных

9. Работа с несколькими таблицами

10. Работа с NULL-значениями

11. Индексы и их использование

12. Работа с представлениями (Views)

13. Управление доступом и безопасностью

14. Хранимые процедуры и функции

15. Триггеры и их использование

16. Работа с JSON и XML-данными

17. SQL для аналитики данных

18. NoSQL и SQL

19. Безопасность данных и шифрование

20. Введение в ClickHouse

21. Разбор основных вопросов на собеседованиях

22. Итоговое задание

Содержание курса SQLAlchemy 

1. Знакомство с платформой и структура курса

2. Введение в SQLAlchemy: основные принципы ORM

3. CRUD-операции (создание, чтение, обновление, удаление данных)

4. Работа с миграциями: Alembic и управление схемами БД

5. Тестирование моделей и запросов с использованием SQLAlchemy

6. Построение запросов и фильтрация данных

7. Связи между моделями: один к одному, один ко многим, многие ко многим

8. Работа с транзакциями и контроль целостности данных

9. Оптимизация производительности запросов

10. Безопасность при работе с базами данных

11. Расширенные возможности SQLAlchemy (дополнительные фишки и подходы)

12. Итоговый проект на выбор для пополнения портфолио

Во время прохождения курса вам будут доступны лекционные материалы и практические задания:

• 📚 Лекционные материалы позволят вам углубиться в тему и приобрести багаж знаний для решения практики

• 💻 Практические материалы — это тесты после каждой лекции, задания на написание кода и финальное выпускное задание на выбор. Каждое задание проверяется преподавателями вручную

После завершения курса вы не просто узнаете десятки инструментов, вы свяжете их в единую систему, которую сможете воспроизводить, масштабировать и развивать — как настоящий DataOps-инженер с твердыми знаниями в Python разработке и проектировании SQL баз данных и управлению базами данных из Python c помощью SQLAlchemy.