Data Engineer DWH

Разработка и поддержка витрин данныхВы будете разрабатывать, оптимизировать и поддерживать витрины данных, исходя из требований бизнеса и аналитиков. Это включает проектирование структуры данных, реализацию ETL-пайплайнов с использованием Python, Spark, Greenplum и Airflow, а также обеспечение их эффективной работы. Вам предстоит решать задачи разного уровня сложности — от простых трансформаций до обработки больших объёмов данных с нетривиальной бизнес-логикой. Оптимизация ETL-процессовВам предстоит оптимизировать ETL-процессы, чтобы повысить производительность и снизить затраты. Нужно проанализировать и устранить проблемы, такие как перекос данных в Greenplum, долгие джобы и неэффективные партиции, а также настроить распределение ресурсов в кластере. Мониторинг качества данныхВы будете разрабатывать и поддерживать систему мониторинга качества данных, включая DQ-проверки и алерты на аномалии. Также вам предстоит анализировать и устранять сбои в поставке данных, такие как пробелы, дубли и некорректные значения. Кроме того, вы будете взаимодействовать с аналитиками и бизнес-пользователями, чтобы повысить прозрачность поставки данных. Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев. Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные20%. В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей. Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника. Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов. Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером. В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде. Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса. Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.

Пишете код на Python Работали с базами данных SQL и NoSQL Знакомы с брокерами сообщений (Kafka, RabbitMQ или чем-то подобным) Работали с инструментами Hadoop Работали со Spark или Spark SQL Работали с Greenplum Умеете разрабатывать DAG для Airflow психотерапия в офисе или онлайн-сервисах; лазерная коррекция зрения через год работы; ведение беременности и роды — через два года.