Аналитик данных (дата инженер)

<p>Мы - команда аналитики маркетплейса. Каждый день мы обрабатываем сотни терабайт данных для проведения исследований, АВ-экспериментов, обучения ML-моделей и построения отчетности. Ищем в команду опытного инженера данных, который сможет усилить нашу экспертизу в построении ETL и хранилищ данных, а так же настройке кластеров для достижения максимального перфоманса.</p> <p><strong>Вам предстоит:</strong></p> <ul> <li>Погружаться в данные, их природу, качество и способ поставки;</li> <li>Взаимодействовать от лица команды с платформой данных для организации транспорта и интеграций;</li> <li>Отвечать за качество данных, на основании которых формируется ключевая отчетность направления;</li> <li>Изучать и транслировать команде аналитики лучшие практики работы с данными;</li> <li>Разрабатывать платформенные решение для работы с качеством ml-моделей;</li> <li>Сопровождать проекты оптимизации ручного труда аналитиков с потенциалом поработать с AI-driven решениями.</li> </ul> <p><strong>Мы ожидаем:</strong></p> <ul> <li> <p>Понимание особенностей работы распределенных систем вычислений;</p> </li> <li> <p>Опыт написания ETL и DDL для Clickhouse;</p> </li> <li> <p>Опыт работы с экосистемой Hadoop (HDFS, Hive, Spark);</p> </li> <li> <p>Опыт разработки пайплайнов на Airflow;</p> </li> <li> <p>Понимание концепции якорной модели DWH будет преимуществом;</p> </li> <li> <p>Опыт проектирования безопасных решений на основе Apache Iceberg будет являться плюсом;</p> </li> <li> <p>Опыт написания и оптимизации ETL на Vertica и Trino будет преимуществом.</p> </li> </ul>