Ведущий инженер данных

Навыки

Обязанности

• 01Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработка DAG для автоматизации)
• 02Участвовать в проработке и пилотировании нового: Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами
• 03Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных
• 04Извлекать из исходных данных ценную информацию и скрупулёзно обрабатывать её для последующего анализа
• 05Реализовывать стабильный расчёт бизнес-метрик вместе с командой аналитиков
• 06Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений

Требования

• 01Уверенно знаете Python на уровне написания собственного фреймворка
• 02SQL на уровне оптимизации запросов
• 03Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
• 04Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse
• 05Использовали Airflow, Luigi или другой оркестратор
• 06Умеете выбирать технологии для решения конкретных задач
• 07Понимаете принципы работы инструментов мониторинга и способны настраивать алерты для отслеживания состояния ETL-процессов
• 08Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными

Условия

• 01Гибкий график работы
• 02Бонусы и скидки от партнеров
• 03Офис в центре города
• 04ДМС
• 05Профессиональная команда
• 06Формат работы Комбинированный
• 07График работы полный