Data Engineer в Портал продавцов

Портал продавцов — это юнит со всеми продуктами WB для продавцов. Здесь личный кабинет, загрузка и хранение контента, поиск и каталог, биллинг, оформление товара и доставка, аналитика и многое другое. Это 1/4 всего бизнеса WB. В сервисе более 1 млн. поставщиков, ежедневный оборот - 5 млрд. рублей.

В направлении DE мы занимаемся построением озера данных, необходимого для принятия верных бизнес-решений. И в связи с активным ростом и расширением функционала, находимся в поиске Data Engineer.

Участвовать в разработке data-transfer инструмента, который позволит автоматизировать процесс перегрузки данных с различных источников; Формировать озера данных на HDFS; Дорабатывать существующие и писать новые Airflow операторы; Оптимизировать интеграции со стриминговыми источниками данных (Kafka); Формировать витрины для аналитики и поставлять их в ClickHouse; Вести процесс покрытия данных контролем качества (DQ). Уверенный опыт программирования на Python (не менее 2-х лет); Опыт с hadoop (spark/yarn/hdfs/hive), с apache Airflow / Dagster и со Spark (Pyspark); Опыт в оптимизации SQL запросов (индексы, партицирование, шардирование и тд); Опыт работы с MPP СУБД (ClickHouse/GreenPlum/Vertica). Будет плюсом: Опыт работы в DBT; Опыт развертывания и ведения каталога данных (OpenMetaData); Понимание концепций моделирования хранилищ данных.