NLP Engineer (команда GigaChat Pretrain)

Описание

Мы команда GigaChat - создаём и развиваем core-технологию генеративной языковой модели. Она может писать тексты, создавать изображения и даже код на Python. Она умеет отвечать на вопросы, вести диалог, сочинять стихи и рассказы, придумывать идеи для бизнеса, писать письма и многое другое.

Наша команда осенью выпустила сильную русскоязычную модель GigaChat MAX уровня GPT-4 (метрики в статье), а этой зимой выложили в открытый доступ одну из наших MoE-моделей.

Мы ведем набор на 4 направления:

1. Разработку фреймворка распределенного обучения GigaFSDP, исследование обучений в FP8

2. Развитие метрик качества GigaChat-a, например, через оценку способности решать задачи олимпиад международного уровня

3. Команду инфраструктуры обучений, 5-D параллелизм, в том числе ускорение обучений мультимодальных моделей

4. Разработку низкоуровневых оптимизаций операций на аппаратном уровне

На эти роли мы ищем талантливого NLP Engineer, с которым мы будем вместе совершенствовать и развивать GigaChat. Для всех этих экспериментов у нас есть кластер с большим числом A/H 100'ых.

Обязанности

• Довести качество до ChatGPT на русском и дальше обогнать его
• Помогать решать бизнес-задачи с помощью нашей технологии сначала для внутренних клиентов в Сбере, а потом и внешним
• Придумывать и внедрять новые применения для LLM
• Помогать выводить в прод все, что мы обучим
• Постоянно держаться up-to-date со свежими статьями

Требования

• Уверенное владение Python, Pytorch
• Знание базовых алгоритмов и математики
• Знания в DL, опыт обучения просто моделей и больших моделей
• Опыт обучения моделей для продакшен
• Понимание текущего состояния эволюции больших LLM's

Условия

• Комфортный современный офис рядом с м. Кутузовская
• Возможность выбрать удобный график офис/гибрид/удаленка
• Годовая премия
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Ипотека для сотрудников по дисконтной прогамме
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• Вознаграждение за рекомендацию друзей в команду Сбера.