Data Engineer
По договоренности
Полный день•Занятость: Полная•Требуемый опыт: От 3 до 5 лет
Нижний Новгород
Размер компании
-
Описание компании не указано
Описание вакансии
Работа в Т1 сочетает в себе преимущества инновационной ИТ-компании и крупного холдинга — стабильность и финансовую надежность, социальные гарантии и возможность развиваться в открытом ИТ-сообществе, масштабные задачи и гибридный формат работы
Дополнительно
Большим идеям нужна большая командаВ рамках направления разработки ИТ-решений мы помогаем ускорить цифровую трансформацию с помощью гибких и быстроадаптируемых
решений мирового уровня: современные ИТ-продукты, системы работы с большими данными
и комплексные решения для фронт- и бэк-офисов. Наши разработки повышают гибкость и эффективность работы банковских команд.Вместе с нами ты будешь:проектировать и разрабатывать etl фреймворк на стеке scala/hadoop/spark;разрабатывать unuit тесты и интеграционные автотесты;проектировать шаблоны etl пайплайнов;разрабатывать dag airflow для автоматизации etl потоков и обработки метаданных;оптимизировать запуски spark приложений;разрабатывать инструменты для процесса data quality;разрабатывать инструменты для взаимодействия с хранилищем метаданных;Security champion: анализ и устранение уязвимостей кода.Какие знания и навыки для нас важны:- Python, Scala, SQL ;- Hive, Iceberg, Impala, Kyuubi, GreenPlum, PostgreSQL, ClickHouse;- Git, IDE Intellij IDEA/Pycharm;- Hadoop (hdfs, yarn), Spark (3.2+ версия), Airflow, jdbc, maven, pip, k8s, Kafka, Docker;- Data Lake, Data Lakehouse, DWH, ETL, ELT, OLTP, OLAP.