Старший инженер данных

<p>Нужен Data Engineer, который сможет взять на себя часть непрофильной для аналитиков работы по автоматизации отчётов, превращению моделей в сервисы, оптимизации запросов, а также сможет выстроить процесс код ревью, CI\CD Pipeline.</p> <p>Наш стек: MPP (Vertica, ClickHouse), Python+ Airflow, Hive, PySpark.</p> <p><strong>Вам предстоит:</strong></p> <ul> <li>Проектирование и разработка витрин данных для анализа и моделирования;</li> <li>Оптимизация процессов ETL, система мониторинга обновления витрин и источников данных;</li> <li>Изучение способов повышения качества и надёжности данных;</li> <li>Предоставление экспертной поддержки по оптимизации обработки данных на клиенте: Jupyter + Python;</li> <li>Поддержка и развитие базы знаний.</li> </ul> <p><strong>Мы ожидаем:</strong></p> <ul> <li>Обязательный стек, с которым ты работал: Hadoop, Spark (Pyspark)</li> <li>Отлично знаешь SQL, знаком с Vertica, Clickhouse, владеешь концепцией DWH.</li> <li>Умеешь программировать на Python.</li> <li>Знаком с командной строкой Unix-систем.</li> <li>Есть опыт работы с BI-инструментами: в идеале Superset, но опыт с другими BI тоже подойдет, если ты готов осваивать новый инструмент.</li> <li>Работал с Airflow</li> <li>Хорошо представляешь, как работает e-com.</li> <li>Способен взять ответственность свое направление и готов к самостоятельному решению задач с большой степенью неопределенности.</li> </ul>