Аналитик-разработчик автометрик YandexGPT

Базовая модель YandexGPT лежит в основе Алисы, Поиска и многих других продуктов. Наша цель — улучшать модель, решая множество прикладных задач, постоянно мониторить качество со всех сторон и не терять ничего важного. Для этого нам нужна система надёжных крауд-разметок и автоматических метрик — такими автометриками и занимается наша команда. Мы замеряем модели на множестве бенчмарков: от классического MMLU до тестана знание русской культуры. Ищем активных и заинтересованных аналитиков. Почему в нашей команде классно: Интерпретация результатов экспериментовКоманда разработки проводит много экспериментов и делает выводы на основе наших метрик. Иногда результаты бывают неожиданными или противоречивыми, в этом случае задача аналитиков — помочь раздебажить, что произошло. Анализ точек ростаЕсть множество сложных задач, с которыми наша модель ещё не справляется на достойном уровне. Мы стараемся выбрать из них самые перспективные, разобрать проблемы и вместе с командой разработки придумать план решения. Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев. Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные20%. В Яндексе есть всё, чтобы постоянно развиваться и учиться новому: внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей. Также мы оплачиваем участие в профильных конференциях — как в качестве спикера, так и в качестве участника. Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов. Во всех крупных офисах Яндекса есть спортзалы со всем необходимым: тренажёрами, спортивным инвентарём, душевыми, шкафчиками для одежды и вещей. Можете заниматься самостоятельно, а можете с корпоративным тренером. В Яндексе есть спортивный клуб и много спортивных команд. У них есть свои лидеры, чаты, программы тренировок. А ещё они регулярно участвуют в забегах, триатлонах, «Гонке героев», футбольных и других соревнованиях. Вы сможете присоединиться к существующим командам или собрать свою. У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.

YandexGPT — быстрорастущий проект, у нас можно проявить себя, поработать с крутыми опытными ML-специалистами Можно гонять самые современные модельки Яндекса на мощных GPU-кластерах Можно воспроизводить исследования из самых свежих статей и придумывать что-то новое Мы учимся решать задачи, которые пока никто не умеет решать Можно узнать, что думает YandexGPT до того, как его ограничат для внешнего пользования (научат этике) Нам помогает команда уникальных редакторов и AI-тренеров (например, член команды «Что? Где? Когда?» Алесь Мухин, составитель атласа культур и религий народов России и многие другие) Работали над метриками в ML Уверенно владеете SQL и Python Умеете анализировать данные, строили эффективные процессы их обработки Знаете теорию вероятностей и математическую статистику