SRE инженер в команду Clickstream (Processing)

В работе мы ставим амбициозные цели и не останавливаемся на достигнутом. Поэтому для нас так важно, чтобы каждый участник большой команды Авито разделял культуру компании. Погрузиться в неё помогает Манифест, в котором собраны наши основные ориентиры — миссия, ценности, принципы работы

О команде

— Команда Clickstream занимается потоковой обработкой и аналитикой в режиме реального времени событий на базе фреймворкаApache Flink, позволяя обрабатывать данные “на лету”. Мы разрабатываем задания на Java, обеспечивая непрерывную обработку данных 24/7.Масштаб: тысячи типов аналитических событий, больше 500k RPS в пиковой нагрузке.Основной стек

— это Apache Flink (в кластере k8s), Apache Kafka, RocksDB, Ceph, ELK. Наша инфраструктура состоит из собственного k8s кластера работающего в 3

— х ДЦ, в котором разворачиваются Flink задания, CI/CD инструментов для автоматизации жизненного цикла заданий, инструментов для e2e тестирования и многих других вспомогательных штук. Примеры будущих задач:мониторинг жизнедеятельности кластера и решение возникающих проблем:доработка инструментов под новые

Вам предстоит

— освоить процессы развертывания и обновления заданий

— разобраться в инструментах тестирования

— произвести обновление или исправить ошибку в работе Job

— реализовать вспомогательный инструмент

— написать простое FlinkSQL задание.

Мы ждём, что вы

— имеете опыт установки и администрирования k8s кластеров

— хорошо знакомы с Docker

— работали с ELK стеком и можете найти нужные данные

— пишете на Python

— имеете опыт работы с базами данных и асинхронными очередями. Будет здорово, если вы:работали с инструментами atlassian

— имеете опыт администрирования Linux

— хорошо знакомы с SQL.

Работа у нас — это

— интересные и важные задачи на очень большом проектепередовые технологии и подходы, возможность пробовать новоеопытные и заинтересованные коллеги, готовые оказать поддержкувозможность приносить пользу миллионам пользователей, реализуя решения, основанные на данныхличный бюджет на обучение, который можно тратить на книги, курсы и конференциизабота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажиствозможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт

— Петербурге