Разработка инфраструктуры и пайплайнов для подготовки мультимодальных данных для обучения GigaChat Vision. Работа на стыке data engineering и ML research с большими объемами данных.
что делать
Проектирование пайплайнов очистки, фильтрации и генерации синтетических данных
Управление инфраструктурой хранения и подготовки данных
Валидация, версионирование и контроль качества датасетов
Автоматизация экспорта данных для обучения моделей
Сбор статистики и визуализация качества данных
требования
Опыт построения production-grade data pipelines
Уверенное владение Python
Опыт работы с распределенной обработкой больших данных
Практический опыт работы с объектными хранилищами (S3)