ML инженер — Институт Исследования Нейросетей и Робототехники

О проекте:
Мы разрабатываем интеллектуальные системы на базе современных embedded-платформ и алгоритмов машинного обучения для задач восприятия окружающей среды и управления роботизированными комплексами. Команда занимается созданием систем мультимодальной детекции, объединяющих данные с оптических сенсоров, аудиосистем и других источников информации.

В рамках проекта разрабатываются ML-модели для обнаружения, классификации и анализа объектов по изображениям, звуковым сигналам и различным признакам среды. Полученные данные используются для принятия решений системой управления и взаимодействия с исполнительными механизмами.

Обязанности:

• Разработка, обучение и оптимизация моделей машинного обучения для задач компьютерного зрения и обработки аудиосигналов.
• Создание алгоритмов оптической детекции: обнаружение объектов, анализ контуров, движения, контраста, текстур и других визуальных признаков.
• Разработка моделей для обработки звуковых сигналов: детекция событий, классификация источников звука, выделение полезных сигналов на фоне шумов.
• Подготовка и обработка датасетов: сбор данных, разметка, аугментация, анализ качества выборок.
• Настройка и оптимизация нейросетей для работы в режиме реального времени на embedded-платформах (NVIDIA Jetson и аналогичные системы).
• Интеграция ML-моделей с программным обеспечением системы сбора данных и управления исполнительными механизмами.
• Проведение экспериментов, оценка качества моделей, поиск и устранение ошибок детекции.
• Оптимизация производительности моделей с учетом ограничений вычислительных ресурсов и требований к задержкам.

Требования:

• Образование в области машинного обучения, компьютерных наук, математики, робототехники, электроники или смежных направлений.
• Опыт разработки и внедрения ML-моделей от 2 лет.
• Уверенное владение Python.
• Опыт работы с ML-фреймворками: PyTorch и/или TensorFlow.
• Понимание принципов работы нейронных сетей для задач компьютерного зрения и обработки сигналов.
• Опыт работы с алгоритмами детекции и классификации объектов (CNN, YOLO, SSD, Faster R-CNN и аналоги).
• Знание методов обработки изображений: фильтрация, сегментация, выделение признаков, анализ контраста и границ объектов.
• Опыт работы с аудиоданными: спектральный анализ, FFT, Mel-спектрограммы, классификация звуковых событий.
• Навыки работы с OpenCV и библиотеками обработки данных (NumPy, Pandas, SciPy).
• Понимание принципов подготовки датасетов и оценки качества моделей (precision, recall, mAP, F1-score).
• Умение работать с Linux-средой и системами контроля версий (Git).
• Способность работать самостоятельно, проводить исследования и доводить решения до работающего прототипа.

Будет преимуществом:

• Опыт разработки ML-решений для embedded-платформ NVIDIA Jetson.
• Знание инструментов оптимизации моделей: TensorRT, ONNX, CUDA.
• Опыт работы с камерами, тепловизорами, лидарами, радарами и другими сенсорами.
• Опыт построения мультимодальных моделей, объединяющих данные от нескольких типов сенсоров.
• Опыт работы с задачами трекинга объектов, оценки положения объектов в пространстве и sensor fusion.
• Опыт обработки аудио в реальных условиях: шумы, эхосигналы, удаление помех.
• Опыт разработки систем реального времени для робототехнических комплексов.

Условия:

• Современный офис и оснащенная лаборатория для разработки и тестирования робототехнических систем.
• Постоянный доступ к оборудованию: NVIDIA Jetson, камеры различного типа, микрофонные массивы, сенсоры и вычислительные платформы.
• Работа над сложными задачами на стыке машинного обучения, компьютерного зрения, обработки сигналов и робототехники.
• Возможность влиять на архитектуру решений и участвовать в полном цикле разработки — от исследования идеи до внедрения в реальную систему.
• Возможности для профессионального роста, обучения и развития экспертизы в области AI и embedded ML.