Data Engineer (финтех) — Decart IT-production

В нашей компании Decart IT мы относимся к специалистам как к партнёрам, и помогаем им не только зарабатывать, но и участвовать в проектах, которые мотивируют и вдохновляют.

Все детали берём на себя: подбираем проект на основе твоих предпочтений, договариваемся с заказчиком о ставке, организовываем интервью и помогаем успешно пройти его, а также забираем на себя формальный документооборот. С тебя - только твоя экспертиза!

Сейчас мы ищем кандидатов на позицию Data Engineer!

Что нужно будет делать?

Зависит от проекта и этапа его жизненного цикла, но в целом:

• Проектировать и разрабатывать production data pipelines для сбора, обработки и трансформации больших объемов данных (ETL/ELT);

• Настраивать и поддерживать оркестрацию пайплайнов с использованием Apache Airflow;

• Разрабатывать высоконагруженные обработчики потоковых данных на Spark/PySpark и Kafka;

• Выполнять запросы и оптимизировать хранение данных в промышленных СУБД (PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL);

• Поддерживать и развивать Data Warehouse (хранилища данных), работая со слоями DDS, DM (моделирование данных);

• Обеспечивать надежность и отказоустойчивость существующих пайплайнов: мониторинг, отладка, рефакторинг и оптимизация производительности;

• Участвовать в миграциях ETL/DWH систем (при наличии соответствующих проектов);

• Внедрять практики Data Quality и контроля целостности данных на всех этапах обработки.

Что нужно уметь, знать, какими навыками обладать:

• Уверенный коммерческий опыт разработки на Python (от 3–4 лет) с написанием поддерживаемого и документированного кода;

• Глубокое знание SQL и опыт работы с промышленными БД (обязательно хотя бы с одной из: PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL);

• Опыт разработки и сопровождения production data pipelines в продакшене;

• Практическое использование Apache Airflow для оркестрации задач;

• Опыт работы с Apache Spark/PySpark и потоковой обработкой Kafka;

• Знание экосистемы Hadoop/Hive.

Будет плюсом:

• Опыт с ETL-инструментами (Informatica/SAS DIS);

• Работа с NiFi для построения потоков данных;

• Хранение данных в форматах Parquet/ORC и работа с табличными форматами (Iceberg);

• Опыт работы с облачными объектными хранилищами ( S3 или аналоги);

• Навыки моделирования данных (Data Vault, Kimball, 3NF);

• Опыт миграций ETL/DWH систем;

• Настройка мониторинга и визуализации метрик (Grafana/Prometheus);

• Контроль качества данных (Data Quality).

Что мы предлагаем:

• Возможность выбирать проекты и заказчиков под твой запрос: будь то громкое имя компании для портфолио, интересные задачки, чтобы не терять хватку, или просто спокойная работа в привычном режиме;

• Оформление ИП, самозанятость;

• Можешь работать из любого места, где тихо и есть интернет (на территории РФ)

Присоединяйся к нашей команде, чтобы узнать, что такое по-настоящему человекоцентричный аутстаффинг. Ждём тебя!