Data Engineer

Кому подойдёт обучение

• Начинающим data-инженерам, которые уже уверенно чувствуют себя в Python и SQL и хотят вырасти в полноценного специалиста по инженерии данных.
• Разработчикам и специалистам, работающим с базами данных (аналитикам, DBA), планирующим сменить фокус и углубиться в построение data-систем.
• Backend-инженерам, интересующимся архитектурой масштабируемых решений для хранения и обработки данных.
• Data-аналитикам, которым важно понимать, как устроены пайплайны, хранилища и инфраструктура под аналитикой.
• Специалистам по Data Science, желающим самостоятельно проектировать, запускать и сопровождать ETL-процессы.
• DevOps-инженерам и системным администраторам, которые хотят освоить экосистему Big Data и научиться поддерживать data-платформы.
• Архитекторам, стремящимся разобраться в современных подходах к проектированию платформ данных.

Чему вы будете способны после курса

• Разворачивать, настраивать и оптимизировать инструменты обработки данных, проектируя надёжные и производительные пайплайны.
• Создавать и улучшать конвейеры обработки данных с использованием оркестрации задач.
• Работать с большими объёмами информации и распределёнными вычислениями.
• Проектировать ETL и ELT-процессы для загрузки, трансформации и подготовки данных.
• Использовать распределённые файловые системы и аналитические хранилища данных.
• Готовить датасеты для последующей аналитики и продуктовых сервисов.
• Разрабатывать сервисы, использующие результаты обработки больших массивов данных.
• Применять облачные технологии в data-инфраструктуре.
• Решать прикладные бизнес-задачи: от построения отчётности и дашбордов до внедрения принципов Data Governance.

Проектная работа

В финале обучения вы реализуете практический проект по выбранной теме, объединив все полученные знания и навыки. В процессе подготовки предусмотрены вводные материалы и консультации с наставниками.

• Анализ и сравнение скорости загрузки статического контента через разные CDN на веб-страницах.
• Интеграция и загрузка данных о рейсах из API аэропорта Schiphol в поисковое хранилище.
• Сбор, обработка и визуализация данных об играх и пользовательских отзывах платформы STEAM.
• Построение data-конвейера для мониторинга валютных пар.
• Сбор и анализ потоковых данных по криптовалютным рынкам.