Старший LLM-разработчик в команду претрейна YandexGPT

Наша команда отвечает за скорость и стабильность обучения моделей YandexGPT. Мы разрабатываем фреймворк для распределённого обучения на сотнях GPU, ставим много экспериментов, ускоряем и улучшаем базовые модели, которыевыкладываются в open sourceи интегрируются в ключевые сервисы. Помимо нас, нашим фреймворком для обучения пользуются почти все LLM-инженеры Яндекса, а некоторые его части есть в открытом доступе. Например, мы можем похвастаться разработкойYaFSDP, ускоряющего предобучение на 20% в сравнении с решением от Torch. Приглашаем в команду старшего LLM-разработчика. Откликайтесь на вакансию, даже если вы знаете не всё из перечисленного ниже, но очень-очень хотите научиться (и уже учитесь)! Улучшение работы с длинным контекстомВ эпоху AI-агентов и мультимодальных моделей очень важно работать с контекстами в сотни тысяч токенов. Возможность эффективной работы с контекстом такой длины ещё со стадии претрейна — большой инженерный и исследовательский вызов. Будем вместе с ним справляться. Разработка единой кодовой базы для LLM-обученийМы работаем над значительным улучшением и ускорением нашей инфраструктуры обучения: дизайним и пишем с нуля модули, которые будут использованы по всему стеку обучения — от претрейна до алаймента и мультимодальных обучений. Если вам всегда хотелось написать свою DL-библиотеку — это отличная возможность. Исследования и инжиниринг в одном флаконеВам предстоит проводить эксперименты, изучать самые последние статьи и имплементировать даже недостающие части из них. Наша команда перенимает и улучшает наработки таких компаний, как Nvidia и DeepSeek, и рассказывает об этом на внутренних LLM-семинарах, лекциях в ШАДе и крупных конференциях. Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев. Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные20%. В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей. Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника. Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов. Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером. В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.

— Обучали трансформерные модели на PyTorch с нуля Умеете писать классный код, знаете лучшие инженерные практики Понимаете, как устроены современные LLM Имеете опыт в распределённом обучении: знаете, что такое FSDP и контекстный параллелизм Разрабатывали на CUDA/Triton и сможете написать backward для Flash Attention Классно знаете математику и можете объяснить, что такое многообразие психотерапия в офисе или онлайн-сервисах; лазерная коррекция зрения через год работы; ведение беременности и роды — через два года. бесплатные онлайн-тренировки с FITMOST