Data Engineer в команду рекомендаций

Команда занимается построением хранилища данных, необходимого для обучения алгоритмов машинного обучения для решения задач рекомендательных систем, а так же поискового ранжирования и других исследовательских задач.

Сейчас мы находимся в поисках Data Engineer.

Пайплайны на Spark; Участвовать в построении Lakehouse на Hadoop; Создавать и развивать процессы управления данными и их качеством; Извлекать, преобразовывать, загружать и обрабатывать данные, ETL/ELT (Python/Airflow); Оптимизировать процессы поставки данных под бизнес требования; Работать с большим разнообразием первоисточников данных (Kafka, Nats, другие БД, api). Уверенный опыт программирования на Python (не менее 2-х лет); Уверенные знания SQL и опыт работы с базами данных; Опыт работы с Apache Airflow; Опыт работы с Hadoop (spark/yarn/hdfs/hive) Умение оптимизировать SQL запросы; Опыт работы с высоко нагруженными системами и большим объёмом данных; Понимание концепций построения хранилищ данных (DWH). Будет плюсом: Знания и опыт работы с DBT; Опыт с Trino; Опыт работы с Greenplum/Postgres.