СБЕР · Москва

LLM Data Evaluation Engineer — СБЕР

Cтроить и развивать систему оценки качества LLM, RAG и агентов: тестовые наборы, метрики, автоматические прогоны, отчёты. Проводить регрессионное тестирование в...

Компания набирает: 3438 вакансий

Коротко о вакансии

Зарплату работодатель не назвал — вилку обсуждают на собеседовании. Компания нанимает активно — открытых позиций сейчас 3438.

Описание вакансии

Мы помогаем государству проводить disrupt госуправления через внедрение AI/GenAI и ускорять национальное развитие AI/GenAI, организуем одно из крупнейших в мире профильных мероприятий – AIJourney, объединяем бизнес, государство и международное научное сообщество, чтобы обеспечить GenAI-трансформацию страны.

Обязанности

• cтроить и развивать систему оценки качества LLM, RAG и агентов: тестовые наборы, метрики, автоматические прогоны, отчёты

• проводить регрессионное тестирование в CI при смене моделей, промптов и настроек, контролировать качество перед релизами и показами

• оценивать агентов по траекториям: успешность задач, ошибки вызова инструментов, лишние шаги

• калибровать автоматическую оценку (LLM-as-a-judge) против экспертной разметки

• строить пайплайны обработки документов: PDF, сканы, OCR, таблицы, восстановление структуры

• готовить датасеты для дообучения, включая синтетические данные и траектории вызова инструментов.

Требования

• от 3 лет в Data Science, Data Engineering или ML, из них не менее года с LLM-проектами

• опыт построения с нуля системы оценки качества LLM или RAG

• знание метрик поиска (recall@k, MRR, nDCG) и метрик ответов (faithfulness, полнота, корректность)

• опыт оценки агентных систем или многошаговых сценариев

• прикладная статистика: доверительные интервалы, значимость различий, размер выборки

• опыт обработки реальных документов в продакшене, включая OCR

• Python на уровне production-кода, уверенный SQL

• оркестрация пайплайнов (Airflow, Prefect, Dagster или аналоги), версионирование данных и трекинг экспериментов (DVC, MLflow или аналоги).

Будет плюсом:

• работа с юридическими, нормативными или канцелярскими текстами на русском языке

• классический NLP: NER, классификация, извлечение сущностей

• опыт с русскоязычными бенчмарками

• работа с персональными данными по 152-ФЗ

• Elasticsearch, OpenSearch, векторные базы данных.

Условия
  • гибридный формат работы (м Кутузовская)
  • ежегодный пересмотр зарплаты, годовой бонус
  • корпоративный спортзал и зоны отдыха
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
  • подписка Прайм с возможностью совместного использования на трёх близких
  • вознаграждение за рекомендацию друзей в команду Сбера
  • корпоративная пенсионная программа.

Вакансия опубликована 3 ноября, проверена 19.11.2026. Открыть оригинал.

Как откликнуться

Отклик оформляется на странице работодателя — кнопка выше ведёт туда напрямую. Перед отправкой стоит подогнать резюме под текст вакансии: работодатели читают первые строки и ищут в них свои слова. Если рассылаете отклики десятками, посмотрите сервис автооткликов — он отправляет их за вас по заданным настройкам, до 50 в сутки. Про сам поиск работы есть разбор в статье как быстро найти работу.

Спросите нейросети о вакансии

Отвечает DeepSeek по данным этой страницы: зарплата против рынка, условия, работодатель

Вопросы по этой вакансии

Сколько платят на позиции «LLM Data Evaluation Engineer»?

Вилку работодатель не назвал — обсуждать деньги придётся на собеседовании. Для ориентира: в среднем по направлению «Дата-сайентист» платят 174 000 ₽.

Какой опыт нужен?

В требованиях указано: от 3 до 6 лет. Работать нужно на месте, город — Москва.

Вакансия ещё открыта?

Да, на 19.11.2026 она активна: каждую ночь каталог сверяется с источником, закрытые предложения помечаются и уходят из списков.

О компании

СБЕР

Сбер — высокотехнологичная компания и крупнейший банк в России, Центральной и Восточной Европе. Мы собираем лучшие технологии и управленческие методы из мировой практики, обучаем и переобучаем сотрудников, заботимся об их физическом и ментальном здоровье, помогаем достигать поставленных целей и развиваться в выбранном направлении. Мы делаем всё возможное, чтобы каждый сотрудник чувствовал заботу …

Открытых вакансий: 3438

Похожие вакансии

Соседи по направлению с близкими требованиями.

Ведущий ML-инженер

Зарплата не указана

Альфа-Банк · Москва

Проектировать и развивать RAG-пайплайны: чанкинг, эмбеддинги, ретрив, ранжирование, генерация. Строить и оркестрировать агентов: tool-calling, function calling, циклы агентов...

Можно удалённоОт 1 года до 3 летДата-сайентистОпубликована 29 октября

ML Research Engineer – Image & Video Generation

Зарплата не указана

СБЕР · Москва

Реализовывать на Python инструменты для запуска моделей, сбора результатов и расчёта метрик. Обеспечивать воспроизводимость экспериментов и развивать внутреннюю библиотеку оценки.

От 1 года до 3 летДата-сайентистОпубликована 2 ноября

Руководитель отдела скоринга

Зарплата не указана

Ренессанс cтрахование, Группа · Москва

Сейчас скоринг уже применяется в автостраховании. Следующий этап - создание с нуля моделей для страхования юридических лиц, имущества, ипотеки и других...

От 3 до 6 летДата-сайентистОпубликована 9 ноября

Инженер по данным и знаниям

Зарплата не указана

Платформа Национальной Технологической Инициативы · Москва

Инвентаризировать источники, владельцев, структуру данных и ограничения доступа. Строить и поддерживать загрузку, очистку, преобразование и обновление данных. Готовить документы и...

Можно удалённоОт 3 до 6 летДата-сайентистОпубликована 16 ноября

ML engineer (антифрод)

Зарплата не указана

СБЕР · Москва

Исследования и R&D: Формулировать гипотезы, проводить эксперименты и искать новые математические и алгоритмические подходы к оптимизации и генерации правил. (

От 1 года до 3 летДата-сайентистОпубликована 17 ноября

Senior Data Scientist (ПВЗ)

Зарплата не указана

RWB (Wildberries & Russ) · Москва

анализ данных и проверка гипотез для решения бизнес-задач. Разработка и валидация ML-моделей (регрессия, классификация, кластеризация, ансамбли) feature engineering...

От 1 года до 3 летДата-сайентистОпубликована 11 ноября

Другие вакансии компании

Главный специалист по пожарной безопасности

от 248 100 ₽+147% к среднему

СБЕР · Москва

Взаимодействие с органами государственного пожарного надзора (МЧС), прохождение плановых и внеплановых проверок. Рассмотрение и согласование проектной, рабочей и иной документации...

Более 6 летИнженер по охране трудаОпубликована 27 октября

Разработчик-исследователь САУ

от 350 000 ₽+90% к среднему

СБЕР · Москва

Настройка и модификация ПО полётных контроллеров. Проектирование алгоритмов автоматического управления, моделирование и оценка стабильности динамики полёта для разных типов БпЛА.

От 3 до 6 летПрограммистОпубликована 16 ноября

Менеджер по продаже зарплатных проектов

от 208 000 ₽+54% к среднему

СБЕР · Магадан

Проводить презентации по зарплатным проектам для организаций с целью привлечения и удержания на зарплатный проект. Проводить переговоры с представителями юридических...

От 1 года до 3 летМенеджер по продажамОпубликована 18 ноября

Расчёты по этой вакансии

Пригодится до собеседования: сколько останется на руки от названной суммы, как считаются отпускные и переработки.

Ещё по направлению

Модели машинного обучения, прогнозы и рекомендации: Python, статистика, продакшен.