Kaspersky

Senior Python Developer (DWH)

Москва
PythonSQL ServerPostgreSQLSQLAlchemyPydanticDockerKafkaRabbitMQREST APIApache AirflowCQRSSagaEvent SourcingCDCTransactional OutboxUnit TestingClickhouse
Команда занимается развитием и поддержкой корпоративного хранилища данных в Лаборатории Касперского.  Мы создаем ядро современной Customer Data Platform (CDP) — систему, которая становится единым источником правды о клиентах для всего бизнеса. Платформа предназначена для сбора, унификации и обработки near real time больших объемов клиентских данных из различных источников данных (брокеры сообщений, реляционные БД, REST API). Вам предстоит: Участвовать в разработке и поддержке ядра CDP; Проектировать и реализовывать высоконагруженные микросервисы на Python для приема и обработки данных; Проектировать схемы хранения и оптимизировать запросы в MS SQL Server и Clickhouse; Предлагать технические решения и внедрять передовые практики в области качества кода, безопасности, отказоустойчивости и производительности сервисов; Работать с системами потоковой обработки данных; Разрабатывать unit-тесты и мониторинг для обеспечения стабильности и прозрачности работы сервисов; Участвовать в CI/CD процессах, релизах, деплоях и операционной работе — от первых запусков до масштабирования; Оказывать наставничество и поддержку бэкенд-разработчикам, проводить код-ревью. Мы ожидаем от Вас: Уверенное владение  Python 3.11+ ; Опыт работы с реляционными базами данных: MS SQL Server или PostgreSQL ; Опыт работы с  SQLAlchemy, Pydantic ; Опыт работы с контейнеризацией - Docker. Опыт интеграции с системами через  Kafka, RabbitMQ, REST API; Понимание архитектурных паттернов: CQRS, Saga, Event Sourcing, CDC, Transactional Outbox ; Опыт использования  Apache Airflow  для оркестрации процессов; Умение писать интеграционные, функциональные и unit-тесты; Опыт работы с большими объемами данных и оптимизации производительности. Будет плюсом: Опыт работы с С# ; Опыт работы с Hadoop, S3, Clickhouse ; Опыт работы с Spark ; Опыт работы с Prometheus , Grafana; Опыт работы с Kubernetes.

Похожие вакансии

Senior Python Developer (DWH) | Rekru