Cloud.ru
Data Engineer
От 3 до 6 летУдаленноУдаленно
Навыки
SQLClickHouseStarRocksETLELTstreamingKubernetesOLAPHelmGitOpsArgoCDFluxTerraform
Обязанности
- 01Проектирование и развитие data-пайплайнов для обработки событий кибербезопасности
- 02Нормализация и обогащение событий безопасности
- 03Проектирование и оптимизация аналитического хранилища данных (ClickHouse / StarRocks / аналоги)
- 04Подготовка витрин данных под быстрые запросы и аналитику
- 05Эксплуатация data сервисов в Kubernetes: деплой, ресурсы, отказоустойчивость, масштабирование
- 06Обеспечение наблюдаемости и качества данных (метрики, алерты, replay/backfill)
- 07Участие в разборе инцидентов и оптимизации производительности data платформы
Требования
- 01Опыт построения с нуля DWH или Data lake
- 02Опыт построения и эксплуатации data pipelines (ETL, ELT и/или streaming) в production среде
- 03Уверенный SQL, включая оптимизацию запросов и анализ производительности
- 04Опыт работы с OLAP-СУБД (ClickHouse/StarRocks/Druid/Pinot или аналоги)
- 05Понимание принципов потоковой обработки данных (идемпотентность, дедупликация, обработка ошибок)
- 06Опыт проектирования и оптимизации витрин и схем хранения данных
- 07Уверенные знания Kubernetes и опыт эксплуатации сервисов в production среде
- 08Понимание принципов надежности, масштабирования и наблюдаемости data систем