Разработчик в группу разработки API YT

Мы активно развиваем направление ML-инфраструктуры в Яндексе. Наша задача — сделать инфраструктуру эффективной и удобной для тысяч ML-инженеров, работающих в компании.

Одной из ключевых систем, которую используют ML-инженеры, являетсяYT. На кластерах YT происходит как запуск обучений, так и подготовка данных для них. То естьсуперкомпьютеры Яндексаподключены к кластерам YT и активно используются для обучения передовых моделей, таких какYandex GPT-3, Нейро и других. Чтобы обучение работало эффективно, на тысячах GPU необходима удобная и надёжная инфраструктура. Например, обучения должны уметь переживать выход хостов из строя. Для этого требуется регулярно писать чекпойнты, размер которых может достигать десятков TB. Также необходимо уметь эффективно стримить данные из распределённого хранилища, причём поток данных, которые потребляет большое распределённое обучение, может составлять до 100 GB/s, а любые неоптимальности или задержки будут приводить к простою и недоутилизации дорогостоящих GPU. Мы ищем инженера, который поможет нам построить удобную инфраструктуру для чтения и записи в YT для использования в ML-обучениях. Предстоит разобраться во всём этом пути, убрать лишние конвертации, перейти на более эффективные форматы, а потом, вооружившись профайлером, найти узкие места и оптимизировать их. Новые алгоритмы параллельных чтенийЧтобы полностью утилизировать дорогостоящие видеокарты, процесс обучения обычно читает данные с разных машин YT несколькими потоками. Такие чтения сейчас создают повышенную нагрузку на мастер-сервера YT. Предстоит разработать новый протокол параллельных чтений, избавленный от этой проблемы, и реализовать его во всех компонентах: на мастере, на нодах, где хранятся сами данные, на прокси, которые являются входной точкой для пользователя, а также в самих пользовательских библиотеках. Написание удобной библиотеки для работы с YT из кода ML-обученийML-инженеры пишут свой код, пользуясь популярными фреймворками, такими как PyTorch или Jax. Наша задача — предоставить инструменты, которые бы позволяли максимально просто и нативно с точки зрения данных библиотек работать с YT. Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев. Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные20%. В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей. Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника. Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов. Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером. В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою.

Разрабатывали сложные системы или библиотеки на C++ Любите заниматься задачами оптимизации Знаете Python и готовы развивать Python-часть нашего стека технологий Готовы погружаться в специфику задач, которые возникают у ML-инженеров, и создавать удобные инструменты для пользователей психотерапия в офисе или онлайн-сервисах; лазерная коррекция зрения через год работы; ведение беременности и роды — через два года. бесплатные онлайн-тренировки с FITMOST; скидки в фитнес-клубах, бассейнах, студиях йоги, скалодромах и других местах.