Ведущий дата-инженер в VK Tech

VK Tech — российский разработчик корпоративного ПО для решения ежедневных задач бизнеса. Наш продукт, VK Data Platform, — универсальная платформа для end‑to‑end работы с большими объёмами данных и машинным обучением. В его основе лежат собственные разработки и лучшие практики работы с данными, проверенные на масштабных проектах с многомиллионной аудиторией. Мы создаём VK Data Platform как инструмент, который поможет решить инфраструктурные задачи: У нас многослойная команда: аналитики, DevOps, проектное управление и всё-всё от пресейла до поддержки. Опыт в обработке данных: Опыт в организации хранения данных: Портфель VK Tech включает в себя облачную платформу, продуктивити-сервисы, дата-сервисы и бизнес-приложения для автоматизации HR, финансовых и операционных задач. Задачи: Разрабатывать и сопровождать ETL-пайплайны и типовые интеграционные решений в data platform; Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработки DAG для автоматизации); Реализовывать обработку потоковых данных; Разрабатывать решения с различными системами хранения и системами распределённых SQL-движков; Внедрять подходы и процессы управления данными; Участвовать в подготовке пилотов и внедрении VK DataPlatform Требования: Работа в NiFi/AirFlow; Проектирование пайплайнов обработки данных; Проектирование пайплайнов с проверкой качества данных; Опыт и понимание работы с Spark; Программирование на Java/Scala/Python; Работа с Kafka/RabbitMQ

Секреты цифровой доступности Как попасть в команду Сократить совокупную стоимость хранения и обработки данных Эффективно утилизировать аппаратное обеспечение Повысить качество и достоверность данных Бонусы: Гибкий график работы; Бонусы и скидки от партнеров; Офис в центре города; ДМС; Профессиональная команда Дополнительные плюсы: Знание DataOps-практик; Опыт работы с оркестрацией в Kubernetes, BI-инструментами, Data Mesh / Data Fabric; Понимание интеграции ML-моделей в ETL-процессы