Spark Lead

Описание: Направление развития практик работы помогает пользователям работать с данными: создает и улучшает процессы, упрощает использование ресурсов Data Platform. Наши клиенты — более 10 тысяч аналитиков Т‑Банка.Наша команда разрабатывает и контролирует соблюдение лучших практик разработки ETL-процессов и внедряет их в работу команд. Мы влияем на интегральные показатели эффективности и скорости разработки ETL-процессов.Объем данных и количество наших пользователей быстро растут, поэтому мы развиваем новый стек для аналитики данных на технологиях Spark + Iceberg + S3.Ищем профессионала, который возглавит внедрение нового стека в работу аналитиков. Вам предстоит сформировать центр компетенции аналитики в Spark + Iceberg + S3, организовать онбординг команд на новый стек, координировать постановку задач на доработку инструментов и выстраивание процессов. ## Обязанности: Решать сложные задачи по разработке нетипового ETLФормировать лучшие практики разработки ETL на Apache Spark + S3 + IcebergУчаствовать в проработке архитектурных решений в области ETL, проводить пилоты технологических решенийНаращивать инженерную культуру и уровень знания технологий среди команд — разработчиков ETLФормировать требования к профессии инженера данныхУчаствовать в найме сотрудников, менторить и развивать инженеров данных Решать сложные задачи по разработке нетипового ETL Формировать лучшие практики разработки ETL на Apache Spark + S3 + Iceberg Участвовать в проработке архитектурных решений в области ETL, проводить пилоты технологических решений Наращивать инженерную культуру и уровень знания технологий среди команд — разработчиков ETL Формировать требования к профессии инженера данных Участвовать в найме сотрудников, менторить и развивать инженеров данных ## Требования: У вас есть опыт промышленной разработки на Apache Spark от 3 летХорошо знаете один из табличных форматов — Iceberg, DeltaLake, HudiЕсть практический опыт оптимизации задач на SparkЗнаете один из языков программирования — Python или ScalaВладеете SQL на уровне написания аналитических запросов У вас есть опыт промышленной разработки на Apache Spark от 3 лет Хорошо знаете один из табличных форматов — Iceberg, DeltaLake, Hudi Есть практический опыт оптимизации задач на Spark Знаете один из языков программирования — Python или Scala Владеете SQL на уровне написания аналитических запросов

Возможность работы в аккредитованной ИТ-компании ДМС со стоматологией, включая чекапы, компенсацию покупки лекарств и льготные условия страхования для близких. Еще — страховка от несчастных случаев и болезней Рост по карьерному треку: проходите курсы по софт- и хард-скиллам, развивайтесь с поддержкой ментора и повышайте уровень с матрицей компетенций и регулярным ревью Сильное комьюнити. Вы будете работать с экспертами в своей области, сможете делиться знаниями и выступать на конференциях, посещать митапы и писать статьи Онлайн-консультации с психологами, юристами, специалистами по финансам и здоровому образу жизни Компенсацию затрат на спортивные абонементы, приложение Т‑Спорта для онлайн-занятий и командные тренировки с коллегами 3 дополнительных дня к отпуску — можно использовать для отдыха или получить компенсацию Специальные тарифы на продукты Т‑Банка и широкую программу скидок от партнеров Достойную зарплату — обсудим ее на собеседовании Возможность работы в аккредитованной ИТ-компании ДМС со стоматологией, включая чекапы, компенсацию покупки лекарств и льготные условия страхования для близких. Еще — страховка от несчастных случаев и болезней Рост по карьерному треку: проходите курсы по софт- и хард-скиллам, развивайтесь с поддержкой ментора и повышайте уровень с матрицей компетенций и регулярным ревью Сильное комьюнити. Вы будете работать с экспертами в своей области, сможете делиться знаниями и выступать на конференциях, посещать митапы и писать статьи Онлайн-консультации с психологами, юристами, специалистами по финансам и здоровому образу жизни Компенсацию затрат на спортивные абонементы, приложение Т‑Спорта для онлайн-занятий и командные тренировки с коллегами 3 дополнительных дня к отпуску — можно использовать для отдыха или получить компенсацию Специальные тарифы на продукты Т‑Банка и широкую программу скидок от партнеров Достойную зарплату — обсудим ее на собеседовании