Data инженер (Spark)

Описание: Grapher — это масштабный граф клиентских связей (более 70 млрд рёбер) на базе Cassandra, обеспечивающий:Скоринг по окружению: оценка кредитных рисков на основе 2-hop сетей контактовBAF (Bring a Friend): подбор наиболее релевантных рефераловАнтифрод: выявление мошеннических схем и аномалий в связяхTelesales: рекомендация целевых продуктов под каждого клиента по уго окружению Grapher — это масштабный граф клиентских связей (более 70 млрд рёбер) на базе Cassandra, обеспечивающий: Скоринг по окружению: оценка кредитных рисков на основе 2-hop сетей контактов BAF (Bring a Friend): подбор наиболее релевантных рефералов Антифрод: выявление мошеннических схем и аномалий в связях Telesales: рекомендация целевых продуктов под каждого клиента по уго окружению ## Обязанности: Решать сложные задачи по разработке нетипового ETLФормировать лучшие практики разработки ETL на Apache Spark + S3 + IcebergУчаствовать в проработке архитектурных решений в области ETL, проводить пилоты технологических решенийНаращивать инженерную культуру и уровень знания технологий среди команд — разработчиков ETLФормировать требования к профессии инженера данныхУчаствовать в найме сотрудников, менторить и развивать инженеров данных Решать сложные задачи по разработке нетипового ETL Формировать лучшие практики разработки ETL на Apache Spark + S3 + Iceberg Участвовать в проработке архитектурных решений в области ETL, проводить пилоты технологических решений Наращивать инженерную культуру и уровень знания технологий среди команд — разработчиков ETL Формировать требования к профессии инженера данных Участвовать в найме сотрудников, менторить и развивать инженеров данных ## Требования: У вас есть опыт промышленной разработки на Apache Spark от 3 летХорошо знаете один из табличных форматов — Iceberg, DeltaLake, HudiЕсть практический опыт оптимизации задач на SparkЗнаете один из языков программирования — Java, Python или ScalaВладеете SQL на уровне написания аналитических запросов У вас есть опыт промышленной разработки на Apache Spark от 3 лет Хорошо знаете один из табличных форматов — Iceberg, DeltaLake, Hudi Есть практический опыт оптимизации задач на Spark Знаете один из языков программирования — Java, Python или Scala Владеете SQL на уровне написания аналитических запросов

Работу в офисе или удаленно — по договоренностиПлатформу обучения и развития «Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии Комплексную программу заботы о здоровье. Оформим полис ДМС с широким покрытием и страховку от несчастных случаев. Предложим льготные условия страхования для ваших близкихВозможность работы в аккредитованной ИТ-компанииЛинейку льготных тарифов на продукты Т‑БанкаЧастичную компенсацию затрат на спорт Well-being-программу, которая помогает улучшить психологическое и физическое здоровье, а также разобраться с юридическими и финансовыми вопросамиТри дополнительных дня отпуска в годДостойную зарплату — обсудим ее на собеседовании Работу в офисе или удаленно — по договоренности Платформу обучения и развития «Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии Комплексную программу заботы о здоровье. Оформим полис ДМС с широким покрытием и страховку от несчастных случаев. Предложим льготные условия страхования для ваших близких Возможность работы в аккредитованной ИТ-компании Линейку льготных тарифов на продукты Т‑Банка Частичную компенсацию затрат на спорт Well-being-программу, которая помогает улучшить психологическое и физическое здоровье, а также разобраться с юридическими и финансовыми вопросами Три дополнительных дня отпуска в год Достойную зарплату — обсудим ее на собеседовании