Data Engineer в Поиск

AI VK объединяет профессионалов, которые: Направление поиска занимается созданием и развитием единой, быстрой, удобной в эксплуатации, масштабируемой и отказоустойчивой системы поиска для всех платформ группы компаний VK. Поиск понимает смысл поисковых запросов при помощи нейросетей, мы используем обширный граф знаний и компьютерное зрение, развиваем рекомендательную систему, детектируем спам и другой вредоносный контент. Задачи: Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных; Обрабатывать и парсить сырые данные; Сопровождать хранилище данных; Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработка DAG для автоматизации); Извлекать из исходных данных ценную информацию и обрабатывать её для последующего анализа; Реализовывать стабильный расчёт метрик Поиска вместе с командой аналитиков; Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений Требования: Опыт в роли аналитика данных / инженера данных от 3-х лет; Уверенные знания Python и SQL; Умение проектировать DWH: слои, модели хранения данных, процессы ETL; Понимание принципов работы распределённых систем Hadoop или YTsaurus, ClickHouse; Опыт работы с Airflow, Luigi или другим оркестратором; Понимание принципов работы инструментов мониторинга и умение настраивать алерты для отслеживания состояния ETL-процессов; Знание основных алгоритмов и структур данных, особенно используемых в работе с большими данными

Секреты цифровой доступности Как попасть в команду развивают системы рекомендаций и поиска контента для всех продуктов компании улучшают качество поиска по видео платформизируют инфраструктуру данных Бонусы: Гибкий график работы; Бонусы и скидки от партнеров; Офис в центре города; ДМС; Профессиональная команда