Data Engineer в проект по оптимизации пайплайнов и разработке хранилищ данных. Задача заключается в поддержке интеграций на GreenPlum/Hive и создании витрин в ClickHouse.
что делать
Разработка и поддержка ETL-процессов и интеграций данных
Оптимизация текущих пайплайнов и витрин данных
Внедрение CI/CD практик и проведение code review
Развитие архитектуры данных и решение технических задач
требования
Опыт разработки на Java или Groovy
Глубокие знания Hadoop, Hive, HDFS и DWH
Навыки написания и оптимизации сложных SQL-запросов
Опыт работы с ETL-инструментами и Big Data-интеграциями