Data Engineer в команду Clickstream

В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы

О команде

— Команда Data

— loadka создаёт и поддерживает self

— service инструменты загрузки данных аналитической платформы компании. В основе загрузок лежит раскладка в таблицы 6НФ по методологии Anchor Modeling, на которой строится слой витрин. В качестве основного движка расчётов мы используем Trino / Vertica и активно занимается разработкой кастомных Trino

— плагинов для загрузки данных.

Вам предстоит

— перерабатывать архитектуру инструмента загрузки данных в DWH;поддерживать инфраструктурные компоненты;адаптировать Trino

— плагины под потребности компании.

Мы ждём, что вы

— имеете опыт работы с lakehouse

— хранилищами или колоночными базами данных: загрузка данных в s3

— like хранилища и оптимизация запросов на их основе;пишете на Python или другом языке программирования;хотите работать в платформенной команде без чётких требований к продуктам. Будет здорово, если вы:имеете опыт разработки etl

— пайплайнов основанных на batch

— данных;работали с Trino, Ceph, ClickHouse, Vertica;имеете опыт разработки микросервисов на ассинхронных python

— фреймворках (Aiohttp, Starlette)знаете Java.

Работа у нас — это

— возможность реализовать свои идеи в проекте с многомиллионной аудиторией

— талантливая команда, готовая поддержать ваши инициативы

— мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы

— прозрачная система премий, достойная зарплата — размер обсудим на собеседовании

— личный бюджет на обучение, который можно тратить на книги, курсы и конференции

— забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист

— удалёнка из любой точки мира или замечательный офис в двух минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.