Wildberries
Data Engineer / Рекомендации
От 5 летУдаленно
Навыки
GreenplumETLELTIcebergMPPAirflowHadoopSparkYarnHdfsTrino
Обязанности
- 01Поддерживать пайплайны на Greenplum
- 02сопровождать и оптимизировать существующие ETL/ELT-процессы: мониторинг, диагностика деградаций, партиционирование, работа с каталогом
- 03заниматься интеграциями новых источников
- 04подключать новые продуктовые команды и внешние источники: технический ресёрч, проектирование схем интеграции, data contracts
- 05Взаимодействие с владельцами источников на уровне технических требований
- 06участие в миграции: перепроектирование слоёв под Iceberg (partitioning, schema evolution, snapshot management), понимание компромиссов MPP vs object storage
Требования
- 01Владеете опытом с Airflow как оркестратором
- 02имеете работы с Hadoop (Spark/Yarn/Hdfs)
- 03имеете работы c Greenplum или другими MPP-системами
- 04работали с Trino как query engine
Условия
- 01Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое
- 02Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании
- 03Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.
- 04Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников
- 05Скидки и партнерские программы: на обучение, страхование, покупки и многое другое
- 06Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников