Senior Data Engineer

В связи с активным расширением команды мы в поисках Senior Data Engineer в Лабораторию искусственного интеллекта. ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ: Разработка, поддержка и оптимизация пакетных пайплайнов данных, а также инструментов по работе с данными Работа с большими данными в распределенной среде Интеграция и обработка данных из различных источник Проектирование новых решений НАШИ ОЖИДАНИЯ ОТ КАНДИДАТА: Опыт работы инженером данных от 5 лет Опыт работы с Airflow (разработка dag'ов, сенсоры, кастомные операторы) Опыт с Apache Spark (Pyspark, dataframe api, оптимизация джобов) Знание S3 API, HDFS, основ форматов данных (Parquet, orc, avro) и табличных форматов (Hoodie, Iceberg, Hive) Опыт работы с Python (Pandas/polars, sqlAlchemy) Опыт работы с системами контроля версий (Git, Gitlab, ci/cd) Опыт взаимодействия с хранилищами данных и базами данных (Greenplum, PostgreSQL) Опыт работы с trino/presto, clickhouse Опыт построение стриминг пайплайнова (Debezium, Kafka, Flink) Понимание принципов dataops, observability и DQ (Soda, Great_expectations) Опыт работы с фреймворками трансформацией данных (Dbt, sqlMesh) Системное мышление, опыт дизайна Data-решений Ответственность, умение вести разработку фич Уверенное знание работы операционных систем Linux. БУДЕТ ПЛЮСОМ: Опыт работы с нереляционными и графовыми БД Опыт работы с облачными системами (AWS, Yandex Cloud) Понимание принципов построения RAG и Мультиагентной системы Знание и опыт с языками программирования Java/GO ЧТО МЫ ПРЕДЛАГАЕМ: Обучение за счет компании (посещение конференций, курсов, помощь в написании статей на Хабр и т.д.); Вертикальное и горизонтальное развитие: регулярные тренинги, вебинары, митапы; Забота о вашем здоровье: ДМС после испытательного срока, куда входит стоматология; Прозрачный доход: оклад (по итогам интервью) + ежеквартальные премии по результатам KPI; Гибкий график или полная удаленка (по итогам общения с командой); Комфортные и современные офисы в городах присутствия (Москва, Санкт-Петербург, Уфа, Брянск, Новосибирск и др.); Дополнительные бонусы от Россельхозбанка для сотрудников группы компаний (Скидки на спортзалы, рестораны, маркетплейсы и т.д.)