Data Engineer

Кому предназначен данный курс

• Разработчикам, которые хотят овладеть уникальными задачами, присущими только специалистам по работе с данными.
• Системным администраторам, желающим освоить работу с платформами Hadoop, Greenplum и ClickHouse, а также познакомиться с новейшими технологиями хранения данных.
• Архитекторам систем, стремящимся углубить знания о современных решениях в области больших данных, таких как лямбда- и каппа-архитектуры, а также освоить концепцию Data Lakehouse.

Необходимые базовые навыки

• Практический опыт программирования на Java или Python.
• Знание основ работы с базами данных: умение писать SQL-запросы, использовать индексы и агрегирующие функции.
• Базовые умения работы с операционными системами, включая использование командной строки и доступ по SSH.

Дополнительные преимущества

• Навыки работы с Docker и контейнеризацией.
• Знакомство с ключевыми компонентами Hadoop-экосистемы.
• Понимание принципов машинного обучения с позиции Data Scientist или аналитика.

Что вы получите по итогам курса

• Глубокое осознание значения данных для бизнеса и понимание архитектурных решений.
• Знания о том, как грамотно организовать хранение информации и проектировать хранилища данных.
• Умение создавать ETL-процессы для извлечения и обработки данных из различных источников.
• Навыки преобразования информации в пакетном и потоковом форматах.
• Понимание важности качества данных и работы с метаданными.
• Ознакомление с современными BI-инструментами и умение формировать аналитические витрины.

После завершения обучения вы сможете

• Развертывать и оптимизировать системы для обработки больших массивов данных.
• Подготавливать и адаптировать датасеты для последующего анализа и визуализации.
• Разрабатывать сервисы, использующие результаты обработки больших данных.
• Активно участвовать в проектировании и развитии архитектуры данных в компании.

Проектная деятельность

В рамках итоговой работы предстоит реализовать практическую задачу, опираясь на знания, полученные в ходе обучения. Для поддержки проекта будут предоставлены методические материалы и консультации. Примеры прошлых проектов включают:

• Анализ скорости отдачи статического контента через разные CDN на веб-ресурсах.
• Импорт и обработка данных о рейсах из API аэропорта Схипхол в базу Elasticsearch.
• Сбор, обработка и визуализация информации об играх и отзывах из STEAM.
• Создание конвейера для мониторинга курсов валютных пар.