Data Engineer в Корпоративное хранилище

Навыки

Обязанности

• 01Обеспечивать стабильную, производительную и безопасную работу Data Platform на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте
• 02Настраивать, обновлять, мониторить и тюнить кластера Trino
• 03Настраивать коннекторы (Iceberg, S3)
• 04Оптимизировать производительность запросов (resource groups, query analysis)
• 05Оптимизировать производительность Iceberg (partitioning, clustering, metadata management)
• 06Разрабатывать и внедрять централизованные ролевые модели для доступа к данным и ресурсам платформы

Требования

• 01Обладаете пониманием взаимодействия Spark с Iceberg и S3
• 02Имеете опыт эксплуатации Apache Iceberg (администрирование таблиц в формате Iceberg, настройка и использование Hive Metastore)
• 03Обладаете пониманием и применением: compaction, expiration snapshots, time travel, schema evolution
• 04Имеете навыки Linux, Bash, Python для автоматизации
• 05Обладаете опытом управления политиками доступа и правами доступа через Ranger в S3 и Iceberg
• 06Имеете опыт разработки и внедрения централизованной ролевой модели для доступа к данным и ресурсам платформы
• 07Иметь опыт администрирования Greenplum или ClickHouse (установка, настройка, оптимизация, интеграция с S3/Iceberg)

Условия

• 01Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое
• 02Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании
• 03Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.
• 04Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников
• 05Скидки и партнерские программы: на обучение, страхование, покупки и многое другое
• 06Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников