Data Engineer

Навыки

Обязанности

• 01Работать со слоями данных RAW, ODD, DDS: создавать их и развивать
• 02Проектирование и разработка витрин данных для анализа и моделирования
• 03Оптимизация процессов ETL, система мониторинга обновления витрин и источников данных
• 04Изучение способов повышения качества и надёжности данных
• 05Предоставление экспертной поддержки по оптимизации обработки данных на клиенте: Jupyter + Python
• 06Поддержка и развитие базы знаний
• 07Автоматизация отчётов
• 08Превращение моделей в сервисы
• 09Оптимизация запросов
• 10Выстраивание процесса код ревью, CI\CD Pipeline

Требования

• 01Отлично знаешь SQL, знаком с Vertica, Clickhouse, владеешь концепцией DWH
• 02Умеешь программировать на Python
• 03Знаком с командной строкой Unix-систем
• 04Есть опыт работы с BI-инструментами: в идеале Superset, но опыт с другими BI тоже подойдет, если ты готов осваивать новый инструмент
• 05Работал с Airflow, Hadoop, Spark (Pyspark), Gitlab
• 06Хорошо представляешь, как работает e-com
• 07Способен взять ответственность свое направление и готов к самостоятельному решению задач с большой степенью неопределенности