DataOps инженер — Медиалогия

Медиалогия занимается разработкой продуктов по сбору и анализу данных из СМИ и соцмедиа.

Мы разрабатываем высоконагруженные системы, которые в режиме реального времени сканируют весь текстовый сегмент Интернета (100+ млн. сообщений в сутки, 1.7 млрд. метрик) и, используя уникальные лингвистические технологии, позволяют осуществлять мгновенный анализ упоминаний наших клиентов в социальных сетях, блогах, форумах и управлять их репутацией.

Обязанности:

• обеспечивать полный цикл жизни реляционных (PostgreSQL, MySQL) и колоночных (Clickhouse) баз данных: от установки до тюнинга и масштабирования;
• проектировать и поддерживать отказоустойчивые кластеры брокеров сообщений (Kafka, RabbitMQ) под высокие нагрузки;
• управлять инфраструктурой BigData и системами потоковой обработки (Hadoop, NiFi, AirFlow), оптимизировать их производительность;
• настраивать и поддерживать системы кэширования и поиска (Redis, Elasticsearch);
• управлять S3-совместимым объектным хранилищем (MinIO), обеспечивать георезервирование и консистентность данных;
• настраивать надежные системы резервного копирования (бэкапы, PITR) и регулярно проверять планы аварийного восстановления (DR);
• выступать «куратором» 1-2 проектов: погружаться в бизнес-логику, помогать разработчикам с профилированием сложных запросов и проектированием схем данных.

Наш стэк:

• БД: PostgreSQL, MySQL, Clickhouse.
• Очереди и брокеры: Kafka, RabbitMQ.
• BigData & ETL: Hadoop, Apache NiFi, Airflow.
• Смежные системы: Redis, Elasticsearch, MinIO.

Требования:

• глубокое понимание внутреннего устройства реляционных БД (особенно PostgreSQL или MySQL): механизмы блокировок, индексы, репликация (streaming, logical);
• реальный опыт эксплуатации Apache Kafka в Production (настройка партиций, retention, решение проблем с лагом консьюмеров);
• опыт работы с Clickhouse (шардирование, репликация, движки таблиц);
• уверенное администрирование Linux (настройка ядра, дисковой подсистемы, сети под высокие нагрузки баз данных);
• опыт настройки высокодоступных (HA) конфигураций для БД (Patroni, PXC и т.д.).

Будет плюсом:

• опыт эксплуатации стека Hadoop (HDFS, YARN) и инструментов ETL (Apache NiFi);
• навыки работы с Elasticsearch (управление индексами, ILM, масштабирование кластера);
• опыт деплоя стейтфул-приложений (баз данных, очередей) внутри Kubernetes с использованием Operators;
• навыки написания Ansible-ролей для автоматизации раскатки БД;
• умение писать скрипты на Python или Bash для автоматизации рутинных задач DBA.

Условия:

• удаленный или гибридный формат работы;
• заработная плата обсуждается по итогам собеседования с успешным кандидатом;
• ДМС после испытательного срока;
• специальные условия для сотрудников на страхование для членов семьи;
• скидки в компаниях-партнерах (фитнес-центры, обучающие курсы, изучение иностранных языков и многое другое);
• бесплатное онлайн-обучение на корпоративном портале и корпоративная;
• офис в пешей доступности от ст. м. Дмитровская (БЦ «Савеловский Сити»).