DevOps / MLOps-инженер (LLM-инфраструктура) — Т8

Сейчас мы активно развиваем внутреннюю экосистему ИИ-сервисов (умные чат-боты, транскрибация, инструменты для разработчиков и инженеров). Наша LLM-инфраструктура работает on-premise: несколько GPU-серверов с vLLM, нагрузка растёт.

Нам нужен автономный DevOps/MLOps-инженер, который возьмёт на себя всю инфраструктуру ИИ-сервисов: от CI/CD и IaC до оптимизации производительности локальных языковых моделей и освободит ИИ-команду для профильных задач.

Ваши задачи:

1. Инфраструктура и доставки:

- Проектирование, развёртывание и поддержка CI/CD-конвейеров в GitLab CI для AI-сервисов.

- Автоматизация инфраструктуры с использованием Ansible; внедрение GitOps-подходов (Argo CD или Flux) при переходе на Kubernetes.

- Управление контейнерными средами: Docker, Kubernetes (кластеризация, масштабирование, обновления).

- Настройка мониторинга (Grafana + Prometheus), алертинга и лог-агрегации.

- Разработка скриптов и утилит на Python / Bash для автоматизации рутинных задач.

2. LLM-инфраструктура (ключевая часть роли):

- Развёртывание, поддержка и оптимизация инференса LLM на vLLM: управление GPU-ресурсами, тюнинг производительности (--gpu-memory-utilization, --tensor-parallel-size, --max-num-seqs, квантование AWQ/GPTQ/FP8), prefix caching, масштабирование под нагрузкой.

- Нагрузочное тестирование и бенчмаркинг моделей (TTFT, throughput, inter-token latency), балансировка трафика между инстансами инференса.

- Управление жизненным циклом моделей: версионирование, канареечные релизы, rollouts, откат обновлений.

- Обеспечение надёжного и безопасного развёртывания моделей в продакшн совместно с разработчиками AI-моделей и дата-инженерами.

- Участие в планировании и реализации практик MLOps (реестр моделей, воспроизводимость развёртывания).

- Обучение коллег культуре DevOps, создание документации (runbook'и, эксплуатационные гайды).

Мы ждём от вас:

- vLLM: опыт эксплуатации в продакшн — тюнинг производительности (--gpu-memory-utilization, --tensor-parallel-size, --max-num-seqs, квантование), работа с GPU-ресурсами, бенчмаркинг (TTFT, throughput).

- GPU-администрирование: опыт работы с NVIDIA GPU-серверами — драйверы, CUDA, nvidia-container-toolkit.

- Контейнеризация: уверенное владение Docker; опыт развёртывания Kubernetes-кластера с нуля (deployment, service, ingress, RBAC) — планируем внедрять K8s для внутренних ИИ-сервисов.

- CI/CD: построение и поддержка конвейеров в GitLab CI (pipelines, runners, переменные).

- Infrastructure as Code: Ansible (playbooks, роли, идемпотентные конфигурации).

- Мониторинг и алертинг: настройка Grafana + Prometheus (сбор метрик, построение дашбордов, правила оповещений); опыт мониторинга GPU-нагрузок (DCGM-exporter и т.п.).

- Скриптинг: уверенное написание утилит и автоматизации на Python и Bash (GPU-мониторинг, нагрузочные скрипты, обвязка CI/CD).

- Операционные системы: уверенная работа в Linux (Ubuntu), базовые навыки администрирования.

- Сетевые основы: понимание TCP/IP, базовых принципов firewall.

- Безопасность CI/CD: управление секретами (GitLab CI secrets), сканирование образов, best practices по безопасности в конвейерах.

Будет плюсом:

- GitOps: практический опыт работы с Argo CD или Flux, настройка автоматической синхронизации инфраструктуры.

- Опыт эксплуатации Triton Inference Server в продакшн.

- Понимание факторов, влияющих на latency/throughput LLM-инференса (PagedAttention, continuous batching, KV-cache, квантование и его trade-offs).

- Управление секретами через Vault.

- Опыт работы с on-premise / bare-metal GPU-инфраструктурой (без управляемых облаков).

- Знакомство с MLOps-инструментами: MLflow, DVC, KServe/Ray Serve.

- Опыт GPU Operator / MIG в Kubernetes.

Мы предлагаем:

• Создание инфраструктурного направление с нуля. Ваши архитектурные решения напрямую определяют скорость и качество вывода в продакшн новых сервисов.
• Возможность внедрять лучшие практики (GitOps, Kubernetes, MLOps) без необходимости поддерживать устаревшие системы и legacy-код.
• Официальное трудоустройство по ТК РФ с первого рабочего дня (у компании есть IT-аккредитация).
• Прозрачная система оплаты: фиксированный оклад + квартальные бонусы по результатам + годовая премия.
• Стандартный график 5/2: рабочий день с 10:00 до 18:30, но мы гибкие и начало можно сдвинуть по договорённости.
• Гибридный формат работы после испытательного срока (2-3 дня работы удалённо).
• Удобный офис в шаговой доступности от м.Преображенская площадь.
• Расширенный ДМС со стоматологией: полис оформляется на сотрудника и его детей после 3 месяцев работы.
• Развитие и обучение: у каждого новичка есть персональный куратор, который помогает адаптироваться и успешно пройти испытательный срок. Также у нас есть внутренняя библиотека, оплата участия в профильных конференциях, внутренние и внешние обучающие мероприятия.
• Умеем отдыхать: проводим корпоративы 2 раза в год, ходим на экскурсии, устаиваем мастер-классы и другие активности.
• Любим спорт: футбол, волейбол, настольный теннис, шахматный клуб, участвуем в «Гонке Героев» и велозаездах.
• Внутренняя мотивация: у нас есть своя корпоративная валюта, которую можно получать за активность и обменивать на крутой мерч.

Этапы отбора:

1. HR-скрининг (30-40 мин): познакомимся, обсудим ваш опыт и наши ожидания.
2. Техническое интервью в онлайн-формате (1 час): тестовые задачи в формате диалога.
3. Техническое интервью в офисе (1 час): решим финальный тест, покажем рабочее место, пообщаемся с командой вживую.
4. Оффер.