Wildberries
Data Engineer в команду платформы данных (ML)
Зарплата не указана
От 5 летУдаленно
Обязанности
- 01Проектировать и разрабатывать потоковые процессы, которые читают события из Databus/Kafka и считают онлайн‑признаки, записывая их в Redis и Cassandra
- 02Проектировать и разрабатывать пакетные процессы, которые читают данные из S3/Iceberg через Trino, считают офлайн‑признаки и пишут результаты обратно в S3/Iceberg и/или ClickHouse
- 03Следить за тем, чтобы один и тот же признак был согласован между обучением и продакшеном (одна логика расчёта, единый контракт)
- 04Настраивать расписания, пересчёты и бэки, чтобы признаки обновлялись вовремя и выдерживали SLA по свежести
- 05Работать с качеством данных: добавлять проверки, мониторить аномалии, разбирать инциденты, когда “признак поехал”
- 06Совместно с DS и аналитиками придумывать новые признаки и помогать перевести их из экспериментальных скриптов в стабильные пайплайны
Требования
- 014-5+ лет опыта в роли Data Engineer / Backend+Data
- 02Уверенный опыт работы с Kafka‑подобными очередями (Databus/Kafka): продюсеры/консьюмеры, партиционирование, ключи, обработка ошибок
- 03Практический опыт со streaming‑движком (желательно Flink; Spark Structured Streaming подойдёт, если есть реальный прод‑опыт)
- 04Опыт работы с Redis или Cassandra как онлайновым хранилищем данных/признаков
- 05Опыт работы с S3‑подобным хранилищем и табличным форматом (Iceberg/Delta/Hudi) и доступа к ним через SQL‑движок (Trino/Presto/Spark SQL)
- 06Отличное знание SQL и опыт работы с ClickHouse
- 07Python на уровне уверенной разработки data‑скриптов и сервисной логики
- 08Опыт настройки и сопровождения пайплайнов в Airflow
- 09Понимание задач ML‑пайплайнов: train/serve skew, пересчёты признаков, влияние задержек и потерь событий
Условия
- 01Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое
- 02Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании
- 03Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.
- 04Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников
- 05Скидки и партнерские программы: на обучение, страхование, покупки и многое другое
- 06Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников