SQL-разработчик (Spark+Scala)

Работа в Т1 сочетает в себе преимущества инновационной ИТ-компании и крупного холдинга — стабильность и финансовую надежность, социальные гарантии и возможность развиваться в открытом ИТ-сообществе, масштабные задачи и гибридный формат работы

Большим идеям нужна большая командаВ рамках направления Искусственного интеллекта мы занимаемся большими данными, разработкой платформ хранения информации, а также построением аналитических и рекомендательных систем для крупного бизнеса. Продукты и услуги направлены на реализацию задач цифровой трансформации в компаниях и организациях

с целью автоматизации внутренних и внешних бизнес-процессов, улучшения взаимодействия между подразделениями, повышения эффективности сервисов для клиентов и увеличения прибыли компаний.

Обязанности:

Разработка и рефакторинг расчетных процедур на Spark+ScalaРазработка скриптов SQL для регистрации метаданных в сервисе метаданныхОптимизация SQL-запросов для выгрузки данных из источниковРазработка ETL-пайплайнов в SparkРазработка логики оркестрации процессов через даги Airflow

Требования:

1. SQL (продвинутый уровень):Умение оптимизировать сложные запросы (понимание планов выполнения, индексы, партиционирование)

Базовые знания оконных функций (OVER, PARTITION BY, ORDER BY, ROWS/RANGE)

Понимание трехзначной логики.2. Процедурный SQL:Опыт написания хранимых процедур, функций и триггеров на одном из диалектов:a

PL/pgSQL (PostgreSQL)

b

T-SQL (MS SQL Server)

c

PL/SQL (Oracle)

Умение работать с динамическим SQL.3. Apache Spark:Опыт разработки ETL-пайплайнов в Spark (Spark SQL, DataFrame API)4. Scala (базовый уровень):Понимание основных конструкций: case-классы, pattern matching, коллекции (List, Map, Option).5. Система контроля версий (Git):Опыт работы с ветками (feature, release, hotfix), мердж-реквестами

Понимание rebase vs merge

Знание основных команд.6. Высшее образование (финансы, IT, математика, экономика).7. Опыт работы Backend/Data/ETL разработчиком от 1 года(предпочтительно в финтехе)8. Умение работать с инструментами: Jira, Confluence9. Желание развиваться в техстеке________________________________________Будет плюсом:Понимание внутренней работы Spark (ленивые вычисления, stages/tasks, shuffle partitions)Умение оптимизировать Spark-приложения (настройка памяти, партиционирование, broadcast joins)Опыт работы с Airflow (или с другим оркестратором)Опыт работы с REST API, KafkaОпыт работы с Liquibase