Data Engineer в команду Лояльности

Навыки

Обязанности

• 01Проектировать и реализовывать ETL-пайплайны на основе требований
• 02Интегрировать данные из различных источников (Kafka, S3, Greenplum, Clickhouse БД, API) в DWH
• 03Реализовывать преобразования данных с учётом бизнес-логики и требований к качеству
• 04Обеспечивать надёжность пайплайнов
• 05Разрабатывать DQ-проверки (валидность, полнота, консистентность) и встраивать их в пайплайны
• 06Оптимизировать производительность обработки данных

Требования

• 01Уверенный SQL (сложные запросы, оконные функции, оптимизация)
• 02Практический опыт с Python для обработки данных
• 03Опыт автоматизации пайплайнов в Airflow
• 04Понимание архитектуры DWH / Data Lake
• 05Опыт построения и поддержки ETL-пайплайнов
• 06Опыт работы с БД ClickHouse и Kafka

Условия

• 01Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое
• 02Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании
• 03Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.
• 04Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников
• 05Скидки и партнерские программы: на обучение, страхование, покупки и многое другое
• 06Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников