Data Engineer для разработки платформы на базе генеративного ИИ. Работа над автоматизацией маркетинговых кампаний, проектирование архитектуры данных и построение ETL-пайплайнов.
что делать
Проектирование и построение batch- и streaming-витрин данных
Проработка архитектуры хранилища и интеграция с внешними системами
Загрузка, очистка и трансформация больших объемов данных
Мониторинг и оптимизация процессов обработки данных
Разработка инструментов для контроля качества данных
требования
Опыт работы дата-инженером или Scala-разработчиком от 2 лет
Продвинутое знание SQL и опыт работы с Apache Spark