Data Quality Engineer/Analyst в Портал продавцов

Навыки

Обязанности

• 01участвовать в проектировании ETL-процессов (Airflow, Spark) с учетом best practices data quality
• 02выработать методологию мониторинга качества данных (DQ metrics, дашборды, алерты)
• 03улучшать Data Quality фреймворк
• 04развивать каталог данных и поддерживать актуальность метаданных
• 05автоматизировать проверки данных, в том числе их интеграции в пайплайны
• 06проводить анализ инцидентов с данными и координировать их исправления
• 07взаимодействовать с заказчиками: команды аналитиков, инженеров и ML

Требования

• 01опыт в Data Quality / Data Observability от 2+ лет
• 02продвинутый SQL (оптимизация, оконные функции)
• 03продвинутый Python (Pandas, PySpark), в т.ч. проектирование новых сервисов
• 04опыт с оркестраторами
• 05знание подходов к тестированию данных (unit, integration, regression tests)
• 06понимание DWH, Data Lakes и их особенностей
• 07опыт с Sodа (или с Great Expectations, Deequ/PyDeequ, dbt testing)
• 08знание Data Governance (метаданные, lineage, stewardship)
• 09аналитические навыки и проактивность

Условия

• 01Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое
• 02Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании
• 03Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.
• 04Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников
• 05Скидки и партнерские программы: на обучение, страхование, покупки и многое другое
• 06Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников